Un paradigme pour l’interprétation des métriques et pour mesurer la gravité des erreurs de reconnaissance automatique de la parole
Thibault Batextasciitilde neras Roux, Mickael Rouvier, Jane Wottawa, Richard Dufour
Abstract
Les mesures couramment employées pour l’évaluation des transcriptions automatiques de la parole, telles que le taux d’erreur-mot (WER) et le taux d’erreur-caractère (CER), ont fait l’objet d’importantes critiques en raison de leur corrélation limitée avec la perception humaine et de leur incapacité à prendre en compte les nuances linguistiques et sémantiques. Bien que des métriques fondées sur les plongements sémantiques aient été introduites pour se rapprocher de la perception humaine, leur interprétabilité reste difficile par rapport au WER et CER. Dans cet article, nous surmontons ce problème en introduisant un paradigme qui intègre une métrique choisie pour obtenir un équivalent du taux d’erreur appelé Distance d’Édition Minimale, ou Minimum Edit Distance (minED). Nous proposons également d’utiliser cette approche pour mesurer la gravité des erreurs en fonction d’une métrique, d’un point de vue intrinsèque et extrinsèque.- Anthology ID:
- 2024.jeptalnrecital-jep.20
- Volume:
- Actes des 35èmes Journées d'Études sur la Parole
- Month:
- 7
- Year:
- 2024
- Address:
- Toulouse, France
- Editors:
- Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-dac, Julie Mauclair, Jose G Moreno, Julien Pinquier
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA and AFPC
- Note:
- Pages:
- 191–199
- Language:
- French
- URL:
- https://preview.aclanthology.org/fix-sig-urls/2024.jeptalnrecital-jep.20/
- DOI:
- Cite (ACL):
- Thibault Batextasciitilde neras Roux, Mickael Rouvier, Jane Wottawa, and Richard Dufour. 2024. Un paradigme pour l’interprétation des métriques et pour mesurer la gravité des erreurs de reconnaissance automatique de la parole. In Actes des 35èmes Journées d'Études sur la Parole, pages 191–199, Toulouse, France. ATALA and AFPC.
- Cite (Informal):
- Un paradigme pour l’interprétation des métriques et pour mesurer la gravité des erreurs de reconnaissance automatique de la parole (Batextasciitilde neras Roux et al., JEP/TALN/RECITAL 2024)
- PDF:
- https://preview.aclanthology.org/fix-sig-urls/2024.jeptalnrecital-jep.20.pdf