Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024)
Tom Rousseau, Marceau Hernandez, Iglika Stoupak, Angelo Mendoca-Manhoso, Andrea Blivet, Chang Liu, Toufik Boubehbiz, Corina Chuteaux, Gaël Guibon, Gaël Lejeune, Luce Lefeuvre
Abstract
Cet article décrit la participation de l’équipe Sorbonne-SNCF au Défi Fouille de Textes 2024, se concentrant sur la correction automatique de QCM en langue française. Le corpus, constitué de questions de pharmacologie, a été reformulé en assertions. Nous avons employé des techniques avancées de traitement du langage naturel pour traiter les réponses. Trois approches principales, NachosLLM, TTGV byfusion, et TTGV ollama multilabel, sont présentées avec des scores EMR respectifs de 2.94, 4.19 et 1.68. Les résultats obtenus montrent des niveaux de précision différents, en soulignant les limites des approches multi-étiquettes. Des suggestions d’amélioration incluent l’ajustement des modèles de langage et des critères de classification.- Anthology ID:
- 2024.jeptalnrecital-deft.5
- Volume:
- Actes du Défi Fouille de Textes@TALN 2024
- Month:
- 7
- Year:
- 2024
- Address:
- Toulouse, France
- Editors:
- Richard Dufour, Benoit Favre, Mickael Rouvier, Adrien Bazoge, Yanis Labrak
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA and AFPC
- Note:
- Pages:
- 47–57
- Language:
- French
- URL:
- https://aclanthology.org/2024.jeptalnrecital-deft.5
- DOI:
- Cite (ACL):
- Tom Rousseau, Marceau Hernandez, Iglika Stoupak, Angelo Mendoca-Manhoso, Andrea Blivet, Chang Liu, Toufik Boubehbiz, Corina Chuteaux, Gaël Guibon, Gaël Lejeune, and Luce Lefeuvre. 2024. Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024). In Actes du Défi Fouille de Textes@TALN 2024, pages 47–57, Toulouse, France. ATALA and AFPC.
- Cite (Informal):
- Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024) (Rousseau et al., JEP/TALN/RECITAL 2024)
- PDF:
- https://preview.aclanthology.org/nschneid-patch-4/2024.jeptalnrecital-deft.5.pdf