Abstract
L’objectif des travaux présentés dans cet article est l’évaluation de la qualité d’annotations manuelles de relations de renommage de gènes dans des résumés scientifiques, annotations qui présentent la caractéristique d’être très dispersées. Pour cela, nous avons calculé et comparé les coefficients les plus communément utilisés, entre autres kappa (Cohen, 1960) et pi (Scott, 1955), et avons analysé dans quelle mesure ils sont adaptés à nos données. Nous avons également étudié les différentes pondérations applicables à ces coefficients permettant de calculer le kappa pondéré (Cohen, 1968) et l’alpha (Krippendorff, 1980, 2004). Nous avons ainsi étudié le biais induit par la grande prévalence d’une catégorie et défini un mode de calcul des distances entre catégories reposant sur les annotations réalisées.- Anthology ID:
- 2010.jeptalnrecital-long.35
- Volume:
- Actes de la 17e conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
- Month:
- July
- Year:
- 2010
- Address:
- Montréal, Canada
- Editors:
- Philippe Langlais, Michel Gagnon
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA
- Note:
- Pages:
- 341–350
- Language:
- French
- URL:
- https://aclanthology.org/2010.jeptalnrecital-long.35
- DOI:
- Cite (ACL):
- Karën Fort, Claire François, and Maha Ghribi. 2010. Évaluer des annotations manuelles dispersées : les coefficients sont-ils suffisants pour estimer l’accord inter-annotateurs ?. In Actes de la 17e conférence sur le Traitement Automatique des Langues Naturelles. Articles longs, pages 341–350, Montréal, Canada. ATALA.
- Cite (Informal):
- Évaluer des annotations manuelles dispersées : les coefficients sont-ils suffisants pour estimer l’accord inter-annotateurs ? (Fort et al., JEP/TALN/RECITAL 2010)
- PDF:
- https://preview.aclanthology.org/nschneid-patch-2/2010.jeptalnrecital-long.35.pdf