Vers une prédiction automatique de la difficulté d’une question en langue naturelle

Laurianne Sitbon, Jens Grivolla, Laurent Gillard, Patrice Bellot, Philippe Blache


Abstract
Nous proposons et testons deux méthodes de prédiction de la capacité d’un système à répondre à une question factuelle. Une telle prédiciton permet de déterminer si l’on doit initier un dialogue afin de préciser ou de reformuler la question posée par l’utilisateur. La première approche que nous proposons est une adaptation d’une méthode de prédiction dans le domaine de la recherche documentaire, basée soit sur des machines à vecteurs supports (SVM) soit sur des arbres de décision, avec des critères tels que le contenu des questions ou des documents, et des mesures de cohésion entre les documents ou passages de documents d’où sont extraits les réponses. L’autre approche vise à utiliser le type de réponse attendue pour décider de la capacité du système à répondre. Les deux approches ont été testées sur les données de la campagne Technolangue EQUER des systèmes de questions-réponses en français. L’approche à base de SVM est celle qui obtient les meilleurs résultats. Elle permet de distinguer au mieux les questions faciles, celles auxquelles notre système apporte une bonne réponse, des questions difficiles, celles restées sans réponses ou auxquelles le système a répondu de manière incorrecte. A l’opposé on montre que pour notre système, le type de réponse attendue (personnes, quantités, lieux...) n’est pas un facteur déterminant pour la difficulté d’une question.
Anthology ID:
2006.jeptalnrecital-long.31
Volume:
Actes de la 13ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
Month:
April
Year:
2006
Address:
Leuven, Belgique
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
338–347
Language:
French
URL:
https://aclanthology.org/2006.jeptalnrecital-long.31
DOI:
Bibkey:
Cite (ACL):
Laurianne Sitbon, Jens Grivolla, Laurent Gillard, Patrice Bellot, and Philippe Blache. 2006. Vers une prédiction automatique de la difficulté d’une question en langue naturelle. In Actes de la 13ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs, pages 338–347, Leuven, Belgique. ATALA.
Cite (Informal):
Vers une prédiction automatique de la difficulté d’une question en langue naturelle (Sitbon et al., JEP/TALN/RECITAL 2006)
Copy Citation:
PDF:
https://preview.aclanthology.org/update-css-js/2006.jeptalnrecital-long.31.pdf