LIMICS@DEFT’24 : Un mini-LLM peut-il tricher aux QCM de pharmacie en fouillant dans Wikipédia et NACHOS ?
Solène Delourme, Adam Remaki, Christel Gérardin, Pascal Vaillant, Xavier Tannier, Brigitte Seroussi, Akram Redjdal
Abstract
Ce papier explore deux approches pour répondre aux questions à choix multiples (QCM) de pharmacie du défi DEFT 2024 en utilisant des modèles de langue (LLMs) entraînés sur des données ouvertes avec moins de 3 milliards de paramètres. Les deux approches reposent sur l’architecture RAG (Retrieval Augmented Generation) pour combiner la récupération de contexte à partir de bases de connaissances externes (NACHOS et Wikipédia) avec la génération de réponses par le LLM Apollo-2B. La première approche traite directement les QCMs et génère les réponses en une seule étape, tandis que la seconde approche reformule les QCMs en questions binaires (Oui/Non) puis génère une réponse pour chaque question binaire. Cette dernière approche obtient un Exact Match Ratio de 14.7 et un Hamming Score de 51.6 sur le jeu de test, ce qui démontre le potentiel du RAG pour des tâches de Q/A sous de telles contraintes.- Anthology ID:
- 2024.jeptalnrecital-deft.3
- Volume:
- Actes du Défi Fouille de Textes@TALN 2024
- Month:
- 7
- Year:
- 2024
- Address:
- Toulouse, France
- Editors:
- Richard Dufour, Benoit Favre, Mickael Rouvier, Adrien Bazoge, Yanis Labrak
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA and AFPC
- Note:
- Pages:
- 23–39
- Language:
- French
- URL:
- https://aclanthology.org/2024.jeptalnrecital-deft.3
- DOI:
- Cite (ACL):
- Solène Delourme, Adam Remaki, Christel Gérardin, Pascal Vaillant, Xavier Tannier, Brigitte Seroussi, and Akram Redjdal. 2024. LIMICS@DEFT’24 : Un mini-LLM peut-il tricher aux QCM de pharmacie en fouillant dans Wikipédia et NACHOS ?. In Actes du Défi Fouille de Textes@TALN 2024, pages 23–39, Toulouse, France. ATALA and AFPC.
- Cite (Informal):
- LIMICS@DEFT’24 : Un mini-LLM peut-il tricher aux QCM de pharmacie en fouillant dans Wikipédia et NACHOS ? (Delourme et al., JEP/TALN/RECITAL 2024)
- PDF:
- https://preview.aclanthology.org/jeptaln-2024-ingestion/2024.jeptalnrecital-deft.3.pdf