@inproceedings{fort-etal-2010-evaluer,
    title = "{\'E}valuer des annotations manuelles dispers{\'e}es : les coefficients sont-ils suffisants pour estimer l`accord inter-annotateurs ?",
    author = {Fort, Kar{\"e}n  and
      Fran{\c{c}}ois, Claire  and
      Ghribi, Maha},
    editor = "Langlais, Philippe  and
      Gagnon, Michel",
    booktitle = "Actes de la 17e conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Articles longs",
    month = jul,
    year = "2010",
    address = "Montr{\'e}al, Canada",
    publisher = "ATALA",
    url = "https://preview.aclanthology.org/add-emnlp-2024-awards/2010.jeptalnrecital-long.35/",
    pages = "341--350",
    language = "fra",
    abstract = "L`objectif des travaux pr{\'e}sent{\'e}s dans cet article est l'{\'e}valuation de la qualit{\'e} d`annotations manuelles de relations de renommage de g{\`e}nes dans des r{\'e}sum{\'e}s scientifiques, annotations qui pr{\'e}sentent la caract{\'e}ristique d'{\^e}tre tr{\`e}s dispers{\'e}es. Pour cela, nous avons calcul{\'e} et compar{\'e} les coefficients les plus commun{\'e}ment utilis{\'e}s, entre autres kappa (Cohen, 1960) et pi (Scott, 1955), et avons analys{\'e} dans quelle mesure ils sont adapt{\'e}s {\`a} nos donn{\'e}es. Nous avons {\'e}galement {\'e}tudi{\'e} les diff{\'e}rentes pond{\'e}rations applicables {\`a} ces coefficients permettant de calculer le kappa pond{\'e}r{\'e} (Cohen, 1968) et l`alpha (Krippendorff, 1980, 2004). Nous avons ainsi {\'e}tudi{\'e} le biais induit par la grande pr{\'e}valence d`une cat{\'e}gorie et d{\'e}fini un mode de calcul des distances entre cat{\'e}gories reposant sur les annotations r{\'e}alis{\'e}es."
}