pdf
bib
Actes du Défi Fouille de Textes@TALN 2024
Richard Dufour
|
Benoit Favre
|
Mickael Rouvier
|
Adrien Bazoge
|
Yanis Labrak
pdf
bib
abs
Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024
Adrien Bazoge
|
Yanis Labrak
|
Richard Dufour
|
Benoit Favre
|
Mickael Rouvier
L’édition 2024 du DÉfi Fouille de Textes (DEFT) met l’accent sur le développement de méthodes pour la sélection automatique de réponses pour des questions à choix multiples (QCM) en français. Les méthodes sont évaluées sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions fermées avec cinq options chacune, provenant des archives d’examens de pharmacie. Dans la première tâche, les participants doivent se concentrer sur des petits modèles de langue (PML) avec moins de 3 milliards de paramètres et peuvent également utiliser les corpus spécifiques au domaine médical NACHOS et Wikipedia s’ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second tâche lève la restriction sur la taille des modèles de langue. Les résultats, mesurés par l’Exact Match Ratio (EMR), varient de 1,68 à 11,74 tandis que les performances selon le score de Hamming vont de 28,75 à 49,15 pour la première tâche. Parmi les approches proposées par les cinq équipes participantes, le meilleur système utilise une chaîne combinant un classifieur CamemBERT-bio pour identifier le type de question et un système RAG fondé sur Apollo 2B, affiné avec la méthode d’adaptation LoRA sur les données de l’année précédente.
pdf
bib
abs
Participation du CRIM à DEFT 2024 : Utilisation de petits modèles de Langue pour des QCMs dans le domaine médical
Ahmed Moubtahij
|
Charles-William Cummings
|
Azur Handan
|
Edith Galy
|
Eric Charton
Ce papier décrit le travail de l’équipe du CRIM (Centre de recherche en Informatique de Montréal) dans le cadre du Défi Fouille de textes 2024. Nous présentons les expériences que nous avons menées dans le cadre de la tâche principale consistant à identifier automatiquement, pour une question donnée issue d’annales d’examens de pharmacie, l’ensemble des réponses correctes parmi les cinq proposées. La contrainte est d’utiliser un système de moins de 3 milliards de paramètres dont les données d’entraînement sont connues. Pour ce faire, nous avons testé des approches impliquant du few-shot prompting, du RAG, de l’affinage et de la génération contrainte en dernier recours.
pdf
abs
LIMICS@DEFT’24 : Un mini-LLM peut-il tricher aux QCM de pharmacie en fouillant dans Wikipédia et NACHOS ?
Solène Delourme
|
Adam Remaki
|
Christel Gérardin
|
Pascal Vaillant
|
Xavier Tannier
|
Brigitte Seroussi
|
Akram Redjdal
Ce papier explore deux approches pour répondre aux questions à choix multiples (QCM) de pharmacie du défi DEFT 2024 en utilisant des modèles de langue (LLMs) entraînés sur des données ouvertes avec moins de 3 milliards de paramètres. Les deux approches reposent sur l’architecture RAG (Retrieval Augmented Generation) pour combiner la récupération de contexte à partir de bases de connaissances externes (NACHOS et Wikipédia) avec la génération de réponses par le LLM Apollo-2B. La première approche traite directement les QCMs et génère les réponses en une seule étape, tandis que la seconde approche reformule les QCMs en questions binaires (Oui/Non) puis génère une réponse pour chaque question binaire. Cette dernière approche obtient un Exact Match Ratio de 14.7 et un Hamming Score de 51.6 sur le jeu de test, ce qui démontre le potentiel du RAG pour des tâches de Q/A sous de telles contraintes.
pdf
abs
DÉfi Fouille de Texte 2024
Théo Charlot
|
Elisabeth Sisarith
|
Nicolas Stucky
|
Rémi Ilango
|
Nicolas Gouget
|
Hreshvik Sewraj
|
Xavier Pillet
Cet article présente une série d’expériences sur la tâche de réponse à des questions à choix multiples de DEFT2024. En s’appuyant sur le corpus FrenchMedMCQA, nous avons mis en œuvre plusieurs approches, incluant des techniques de Récupération augmenté de modèle de langue pré entraîné (REALM).
pdf
abs
Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024)
Tom Rousseau
|
Marceau Hernandez
|
Iglika Stoupak
|
Angelo Mendoca-Manhoso
|
Andrea Blivet
|
Chang Liu
|
Toufik Boubehbiz
|
Corina Chuteaux
|
Gaël Guibon
|
Gaël Lejeune
|
Luce Lefeuvre
Cet article décrit la participation de l’équipe Sorbonne-SNCF au Défi Fouille de Textes 2024, se concentrant sur la correction automatique de QCM en langue française. Le corpus, constitué de questions de pharmacologie, a été reformulé en assertions. Nous avons employé des techniques avancées de traitement du langage naturel pour traiter les réponses. Trois approches principales, NachosLLM, TTGV byfusion, et TTGV ollama multilabel, sont présentées avec des scores EMR respectifs de 2.94, 4.19 et 1.68. Les résultats obtenus montrent des niveaux de précision différents, en soulignant les limites des approches multi-étiquettes. Des suggestions d’amélioration incluent l’ajustement des modèles de langage et des critères de classification.
pdf
abs
Flan-T5 avec ou sans contexte, telle est la question à choix multiples
Elias Okat
|
Hugo Brochelard
|
Aghilas Sini
|
Valérie Renault
|
Nathalie Camelin
Ce travail présente les systèmes développés par l’équipe LIUM-CREN pour l’atelier DEFT 2024. Nous avons participé à la tâche principale qui vise à inférer automatiquement les réponses correctes à des questions à choix multiples dans le domaine médical en utilisant le corpus FrenchMedMCQA. Nous avons soumis trois approches : (a) explorer l’espace de plongements afin de mettre en évidence les liens éventuels entre les questions et les réponses associées ; (b) utiliser la capacité de génération des modèles Text-To-Text tels que Flan-T5-Large pour générer les réponses correctes ; et (c) mettre en place une technique basique de Retrieval Augmented Generation (RAG) afin de fournir du contexte spécifique au modèle génératif Flan-T5-Large. Cet article vise à rapporter les résultats que nous avons obtenus et à étudier l’impact du contexte sur la capacité du Flan-T5 à inférer les réponses correctes.