Estimation de la qualité d’un système de reconnaissance de la parole pour une tâche de compréhension (Quality estimation of a Speech Recognition System for a Spoken Language Understanding task)
Olivier Galibert, Nathalie Camelin, Paul Deléglise, Sophie Rosset
Abstract
Nous nous intéressons à l’évaluation de la qualité des systèmes de reconnaissance de la parole étant donné une tâche de compréhension. L’objectif de ce travail est de fournir un outil permettant la sélection d’un système de reconnaissance automatique de la parole le plus adapté pour un système de dialogue donné. Nous comparons ici différentes métriques, notamment le WER, NE-WER et ATENE métrique proposée récemment pour l’évaluation des systèmes de reconnaissance de la parole étant donné une tâche de reconnaissance d’entités nommées. Cette dernière métrique montrait une meilleure corrélation avec les résultats de la tâche globale que toutes les autres métriques testées. Nos mesures indiquent une très forte corrélation avec la mesure ATENE et une moins forte avec le WER.- Anthology ID:
- 2016.jeptalnrecital-jep.31
- Volume:
- Actes de la conférence conjointe JEP-TALN-RECITAL 2016. volume 1 : JEP
- Month:
- 7
- Year:
- 2016
- Address:
- Paris, France
- Editors:
- Laurence Danlos, Thierry Hamon
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- AFCP - ATALA
- Note:
- Pages:
- 274–282
- Language:
- French
- URL:
- https://aclanthology.org/2016.jeptalnrecital-jep.31
- DOI:
- Cite (ACL):
- Olivier Galibert, Nathalie Camelin, Paul Deléglise, and Sophie Rosset. 2016. Estimation de la qualité d’un système de reconnaissance de la parole pour une tâche de compréhension (Quality estimation of a Speech Recognition System for a Spoken Language Understanding task). In Actes de la conférence conjointe JEP-TALN-RECITAL 2016. volume 1 : JEP, pages 274–282, Paris, France. AFCP - ATALA.
- Cite (Informal):
- Estimation de la qualité d’un système de reconnaissance de la parole pour une tâche de compréhension (Quality estimation of a Speech Recognition System for a Spoken Language Understanding task) (Galibert et al., JEP/TALN/RECITAL 2016)
- PDF:
- https://preview.aclanthology.org/nschneid-patch-1/2016.jeptalnrecital-jep.31.pdf