Nouveau paradigme d’évaluation des systèmes de dialogue homme-machine

Marianne Laurent, Ghislain Putois, Philippe Bretier, Thierry Moudenc

Abstract
L’évaluation des systèmes de dialogue homme-machine est un problème difficile et pour lequel ni les objectifs ni les solutions proposées ne font aujourd’hui l’unanimité. Les approches ergonomiques traditionnelles soumettent le système de dialogue au regard critique de l’utilisateur et tente d’en capter l’expression, mais l’absence d’un cadre objectivable des usages de ces utilisateurs empêche une comparaison entre systèmes différents, ou entre évolutions d’un même système. Nous proposons d’inverser cette vision et de mesurer le comportement de l’utilisateur au regard du système de dialogue. Aussi, au lieu d’évaluer l’adéquation du système à ses utilisateurs, nous mesurons l’adéquation des utilisateurs au système. Ce changement de paradigme permet un changement de référentiel qui n’est plus les usages des utilisateurs mais le cadre du système. Puisque le système est complètement défini, ce paradigme permet des approches quantitatives et donc des évaluations comparatives de systèmes.
Anthology ID:
2009.jeptalnrecital-position.3
Volume:
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Prise de position
Month:
June
Year:
2009
Address:
Senlis, France
Editors:
Adeline Nazarenko, Thierry Poibeau
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
13–18
Language:
French
URL:
https://aclanthology.org/2009.jeptalnrecital-position.3
DOI:
Bibkey:
Cite (ACL):
Marianne Laurent, Ghislain Putois, Philippe Bretier, and Thierry Moudenc. 2009. Nouveau paradigme d’évaluation des systèmes de dialogue homme-machine. In Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Prise de position, pages 13–18, Senlis, France. ATALA.
Cite (Informal):
Nouveau paradigme d’évaluation des systèmes de dialogue homme-machine (Laurent et al., JEP/TALN/RECITAL 2009)
Copy Citation:
PDF:
https://preview.aclanthology.org/naacl-24-ws-corrections/2009.jeptalnrecital-position.3.pdf
PDF Search