Notation automatique de réponses courtes d’étudiants : présentation de la campagne DEFT 2022 (Automatic grading of students’ short answers : presentation of the DEFT 2022 challenge)

Cyril Grouin, Gabriel Illouz


Abstract
La correction de copies d’étudiants est une tâche coûteuse en temps pour l’enseignant. Nous proposons deux tâches d’attribution automatique de notes à des réponses courtes d’étudiants : une tâche classique d’entraînement de système et d’application sur le corpus de test, et une tâche d’amélioration continue du système avec interrogation d’un serveur d’évaluation. Les corpus se composent de réponses courtes d’étudiants à des questions en programmation web et bases de données, et sont anonymes. Quatre équipes ont participé à la première tâche. Les meilleures précisions de chaque équipe varient de 0,440 à 0,756 pour une précision moyenne de 0,542 et une médiane de 0,524. En raison de la complexité de la deuxième tâche, une seule équipe a participé, mais les résultats soumis ne sont pas exploitables.
Anthology ID:
2022.jeptalnrecital-deft.1
Volume:
Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Atelier DÉfi Fouille de Textes (DEFT)
Month:
6
Year:
2022
Address:
Avignon, France
Editors:
Cyril Grouin, Gabriel Illouz
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
1–10
Language:
French
URL:
https://aclanthology.org/2022.jeptalnrecital-deft.1
DOI:
Bibkey:
Cite (ACL):
Cyril Grouin and Gabriel Illouz. 2022. Notation automatique de réponses courtes d’étudiants : présentation de la campagne DEFT 2022 (Automatic grading of students’ short answers : presentation of the DEFT 2022 challenge). In Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Atelier DÉfi Fouille de Textes (DEFT), pages 1–10, Avignon, France. ATALA.
Cite (Informal):
Notation automatique de réponses courtes d’étudiants : présentation de la campagne DEFT 2022 (Automatic grading of students’ short answers : presentation of the DEFT 2022 challenge) (Grouin & Illouz, JEP/TALN/RECITAL 2022)
Copy Citation:
PDF:
https://preview.aclanthology.org/emnlp-22-attachments/2022.jeptalnrecital-deft.1.pdf