@inproceedings{nouali-etal-2025-exploration,
    title = "Exploration du {RAG} pour la g{\'e}n{\'e}ration de r{\'e}ponses {\`a} des questions en contexte {\'e}ducatif: {\'e}tude sur les donn{\'e}es {SCIQ}",
    author = "Nouali, Sarah  and
      Badache, Ismail  and
      Bellot, Patrice",
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes de l'atelier Intelligence Artificielle g{\'e}n{\'e}rative et {\'E}DUcation : Enjeux, D{\'e}fis et Perspectives de Recherche 2025 (IA-{\'E}DU)",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/ingest-emnlp/2025.jeptalnrecital-iaedu.5/",
    pages = "29--41",
    language = "fra",
    abstract = "Les syst{\`e}mes bas{\'e}s sur le RAG (Retrieval-Augmented Generation) sont des syst{\`e}mes qui optimisent la puissance des grands mod{\`e}les de langue (LLM, en anglais, Large Language Models) avec une recherche d{'}information (RI) {\`a} partir de sources de connaissances externes, sans avoir besoin de r{\'e}entra{\^i}ner le mod{\`e}le. Ce type d{'}approche est connu pour am{\'e}liorer les r{\'e}ponses du LLM, en particulier pour r{\'e}pondre {\`a} des questions sp{\'e}cifiques {\`a} un domaine, et r{\'e}duire le ph{\'e}nom{\`e}ne d{'}hallucination constat{\'e} avec ces derniers. Dans cet article, nous explorons l{'}application d{'}un tel syst{\`e}me dans un contexte p{\'e}dagogique, en utilisant le jeu de donn{\'e}es SCIQ (SCIence Questions), un ensemble de questions scientifiques {\`a} choix multiples de niveau scolaire, qui nous permet d'{\'e}valuer la capacit{\'e} des mod{\`e}les {\`a} fournir des r{\'e}ponses pr{\'e}cises, p{\'e}dagogiques et v{\'e}rifiables. Nous {\'e}valuons les performances du syst{\`e}me par rapport {\`a} un mod{\`e}le g{\'e}n{\'e}ratif standard (Llama3 8b et Mistral 7b) de r{\'e}ponse aux questions et analysons ses forces et ses limites dans un contexte {\'e}ducatif. La performance la plus {\'e}lev{\'e}e en termes de pr{\'e}cision a {\'e}t{\'e} enregistr{\'e}e avec l{'}approche bas{\'e}e sur le RAG (rag-llama), qui a permis d{'}atteindre une pr{\'e}cision globalement sup{\'e}rieure par rapport aux autres approches test{\'e}es."
}