Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024
Adrien Bazoge, Yanis Labrak, Richard Dufour, Benoit Favre, Mickael Rouvier
Abstract
L’édition 2024 du DÉfi Fouille de Textes (DEFT) met l’accent sur le développement de méthodes pour la sélection automatique de réponses pour des questions à choix multiples (QCM) en français. Les méthodes sont évaluées sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions fermées avec cinq options chacune, provenant des archives d’examens de pharmacie. Dans la première tâche, les participants doivent se concentrer sur des petits modèles de langue (PML) avec moins de 3 milliards de paramètres et peuvent également utiliser les corpus spécifiques au domaine médical NACHOS et Wikipedia s’ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second tâche lève la restriction sur la taille des modèles de langue. Les résultats, mesurés par l’Exact Match Ratio (EMR), varient de 1,68 à 11,74 tandis que les performances selon le score de Hamming vont de 28,75 à 49,15 pour la première tâche. Parmi les approches proposées par les cinq équipes participantes, le meilleur système utilise une chaîne combinant un classifieur CamemBERT-bio pour identifier le type de question et un système RAG fondé sur Apollo 2B, affiné avec la méthode d’adaptation LoRA sur les données de l’année précédente.- Anthology ID:
- 2024.jeptalnrecital-deft.1
- Volume:
- Actes du Défi Fouille de Textes@TALN 2024
- Month:
- 7
- Year:
- 2024
- Address:
- Toulouse, France
- Editors:
- Richard Dufour, Benoit Favre, Mickael Rouvier, Adrien Bazoge, Yanis Labrak
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA and AFPC
- Note:
- Pages:
- 1–10
- Language:
- French
- URL:
- https://aclanthology.org/2024.jeptalnrecital-deft.1
- DOI:
- Cite (ACL):
- Adrien Bazoge, Yanis Labrak, Richard Dufour, Benoit Favre, and Mickael Rouvier. 2024. Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024. In Actes du Défi Fouille de Textes@TALN 2024, pages 1–10, Toulouse, France. ATALA and AFPC.
- Cite (Informal):
- Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024 (Bazoge et al., JEP/TALN/RECITAL 2024)
- PDF:
- https://preview.aclanthology.org/nschneid-patch-4/2024.jeptalnrecital-deft.1.pdf