Abstract
Les mesures d’accord inter-annotateurs sont essentielles pour évaluer la qualité des annotations humaines sur les corpus. Dans le cadre des structures relationnelles, la question de la qualité et de l’interprétabilité de ces mesures reste cependant ouverte. Cet article présente l’adaptation d’un outil déjà utilisé pour d’autres paradigmes d’annotation dont le but est de générer de manière contrôlée des annotations artificielles erronées. Les annotations obtenues sont fournies à des mesures d’accord adaptées aux structures relationnelles, permettant l’identification des comportements des mesures ainsi que les différences entre elles.- Anthology ID:
- 2024.jeptalnrecital-recital.5
- Volume:
- Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues
- Month:
- 7
- Year:
- 2024
- Address:
- Toulouse, France
- Editors:
- Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-dac, Julie Mauclair, Jose G Moreno, Julien Pinquier
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA and AFPC
- Note:
- Pages:
- 57–68
- Language:
- French
- URL:
- https://aclanthology.org/2024.jeptalnrecital-recital.5
- DOI:
- Cite (ACL):
- Antoine Boiteau. 2024. Évaluation de mesures d’accord sur des structures relationnelles par la dégradation contrôlée d’annotations. In Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, pages 57–68, Toulouse, France. ATALA and AFPC.
- Cite (Informal):
- Évaluation de mesures d’accord sur des structures relationnelles par la dégradation contrôlée d’annotations (Boiteau, JEP/TALN/RECITAL 2024)
- PDF:
- https://preview.aclanthology.org/dois-2013-emnlp/2024.jeptalnrecital-recital.5.pdf