@inproceedings{baneras-roux-etal-2023-hats,
    title = "{HATS} : Un jeu de donn{\'e}es int{\'e}grant la perception humaine appliqu{\'e}e {\`a} l{'}{\'e}valuation des m{\'e}triques de transcription de la parole",
    author = "Ba{\~n}eras-Roux, Thibault  and
      Wottawa, Jane  and
      Rouvier, Mickael  and
      Merlin, Teva  and
      Dufour, Richard",
    editor = "Servan, Christophe  and
      Vilnat, Anne",
    booktitle = "Actes de CORIA-TALN 2023. Actes de la 30e Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 4 : articles d{\'e}j{\`a} soumis ou accept{\'e}s en conf{\'e}rence internationale",
    month = "6",
    year = "2023",
    address = "Paris, France",
    publisher = "ATALA",
    url = "https://aclanthology.org/2023.jeptalnrecital-international.2",
    pages = "10--18",
    abstract = "Traditionnellement, les syst{\`e}mes de reconnaissance automatique de la parole (RAP) sont {\'e}valu{\'e}s sur leur capacit{\'e} {\`a} reconna{\^\i}tre correctement chaque mot contenu dans un signal vocal. Dans ce contexte, la mesure du taux d{'}erreur-mot est la r{\'e}f{\'e}rence pour {\'e}valuer les transcriptions vocales. Plusieurs {\'e}tudes ont montr{\'e} que cette mesure est trop limit{\'e}e pour {\'e}valuer correctement un syst{\`e}me de RAP, ce qui a conduit {\`a} la proposition d{'}autres variantes et d{'}autres m{\'e}triques. Cependant, toutes ces m{\'e}triques restent orient{\'e}es {``}syst{\`e}me{''} alors m{\^e}me que les transcriptions sont destin{\'e}es {\`a} des humains. Dans cet article, nous proposons un jeu de donn{\'e}es original annot{\'e} manuellement en termes de perception humaine des erreurs de transcription produites par divers syst{\`e}mes de RAP. Plus de 120 humains ont {\'e}t{\'e} invit{\'e}s {\`a} choisir la meilleure transcription automatique entre deux hypoth{\`e}ses. Nous {\'e}tudions la relation entre les pr{\'e}f{\'e}rences humaines et diverses mesures d{'}{\'e}valuation pour les syst{\`e}mes de RAP, y compris les mesures lexicales et celles fond{\'e}es sur les plongements de mots.",
    language = "French",
}