Angelo Mendoca-Manhoso


2024

pdf
Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024)
Tom Rousseau | Marceau Hernandez | Iglika Stoupak | Angelo Mendoca-Manhoso | Andrea Blivet | Chang Liu | Toufik Boubehbiz | Corina Chuteaux | Gaël Guibon | Gaël Lejeune | Luce Lefeuvre
Actes du Défi Fouille de Textes@TALN 2024

Cet article décrit la participation de l’équipe Sorbonne-SNCF au Défi Fouille de Textes 2024, se concentrant sur la correction automatique de QCM en langue française. Le corpus, constitué de questions de pharmacologie, a été reformulé en assertions. Nous avons employé des techniques avancées de traitement du langage naturel pour traiter les réponses. Trois approches principales, NachosLLM, TTGV byfusion, et TTGV ollama multilabel, sont présentées avec des scores EMR respectifs de 2.94, 4.19 et 1.68. Les résultats obtenus montrent des niveaux de précision différents, en soulignant les limites des approches multi-étiquettes. Des suggestions d’amélioration incluent l’ajustement des modèles de langage et des critères de classification.