Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024)
Tom Rousseau, Marceau Hernandez, Iglika Stoupak, Angelo Mendoca-Manhoso, Andrea Blivet, Chang Liu, Toufik Boubehbiz, Corina Chuteaux, Gaël Guibon, Gaël Lejeune, Luce Lefeuvre
Abstract
Cet article décrit la participation de l’équipe Sorbonne-SNCF au Défi Fouille de Textes 2024, se concentrant sur la correction automatique de QCM en langue française. Le corpus, constitué de questions de pharmacologie, a été reformulé en assertions. Nous avons employé des techniques avancées de traitement du langage naturel pour traiter les réponses. Trois approches principales, Nachos_LLM, TTGV_byfusion, et TTGV_ollama_multilabel, sont présentées avec des scores EMR respectifs de 2.94, 4.19 et 1.68. Les résultats obtenus montrent des niveaux de précision différents, en soulignant les limites des approches multi-étiquettes. Des suggestions d’amélioration incluent l’ajustement des modèles de langage et des critères de classification.- Anthology ID:
- 2024.jeptalnrecital-deft.5
- Volume:
- Actes du D{\'e}fi Fouille de Textes@TALN 2024
- Month:
- 7
- Year:
- 2024
- Address:
- Toulouse, France
- Editors:
- Richard Dufour, Benoit Favre, Mickael Rouvier, Adrien Bazoge, Yanis Labrak
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA {\textbackslash}{\\&} AFPC
- Note:
- Pages:
- 47–57
- Language:
- French
- URL:
- https://aclanthology.org/2024.jeptalnrecital-deft.5
- DOI:
- Cite (ACL):
- Tom Rousseau, Marceau Hernandez, Iglika Stoupak, Angelo Mendoca-Manhoso, Andrea Blivet, Chang Liu, Toufik Boubehbiz, Corina Chuteaux, Gaël Guibon, Gaël Lejeune, and Luce Lefeuvre. 2024. Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024). In Actes du D{\'e}fi Fouille de Textes@TALN 2024, pages 47–57, Toulouse, France. ATALA {\textbackslash}{\\&} AFPC.
- Cite (Informal):
- Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024) (Rousseau et al., JEP/TALN/RECITAL 2024)
- PDF:
- https://preview.aclanthology.org/jeptaln-2024-ingestion/2024.jeptalnrecital-deft.5.pdf