Les résultats de la campagne EASY d’évaluation des analyseurs syntaxiques du français

Patrick Paroubek, Anne Vilnat, Isabelle Robba, Christelle Ayache


Abstract
Dans cet article, nous présentons les résultats de la campagne d’évaluation EASY des analyseurs syntaxiques du français. EASY a été la toute première campagne d’évaluation comparative des analyseurs syntaxiques du français en mode boîte noire utilisant des mesures objectives quantitatives. EASY fait partie du programme TECHNOLANGUE du Ministère délégué à la Recherche et à l’Éducation, avec le soutien du ministère de délégué à l’industrie et du ministère de la culture et de la communication. Nous exposons tout d’abord la position de la campagne par rapport aux autres projets d’évaluation en analyse syntaxique, puis nous présentos son déroulement, et donnons les résultats des 15 analyseurs participants en fonction des différents types de corpus et des différentes annotations (constituants et relations). Nous proposons ensuite un ensemble de leçons à tirer de cette campagne, en particulier à propos du protocole d’évaluation, de la définition de la segmentation en unités linguistiques, du formalisme et des activités d’annotation, des critères de qualité des données, des annotations et des résultats, et finalement de la notion de référence en analyse syntaxique. Nous concluons en présentant comment les résultats d’EASY se prolongent dans le projet PASSAGE (ANR-06-MDCA-013) qui vient de débuter et dont l’objectif est d’étiqueter un grand corpus par plusieurs analyseurs en les combinant selon des paramètres issus de l’évaluation.
Anthology ID:
2007.jeptalnrecital-poster.24
Volume:
Actes de la 14ème conférence sur le Traitement Automatique des Langues Naturelles. Posters
Month:
June
Year:
2007
Address:
Toulouse, France
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
243–252
Language:
French
URL:
https://aclanthology.org/2007.jeptalnrecital-poster.24
DOI:
Bibkey:
Cite (ACL):
Patrick Paroubek, Anne Vilnat, Isabelle Robba, and Christelle Ayache. 2007. Les résultats de la campagne EASY d’évaluation des analyseurs syntaxiques du français. In Actes de la 14ème conférence sur le Traitement Automatique des Langues Naturelles. Posters, pages 243–252, Toulouse, France. ATALA.
Cite (Informal):
Les résultats de la campagne EASY d’évaluation des analyseurs syntaxiques du français (Paroubek et al., JEP/TALN/RECITAL 2007)
Copy Citation:
PDF:
https://preview.aclanthology.org/update-css-js/2007.jeptalnrecital-poster.24.pdf