Étude de la fidélité des entités dans les résumés par abstraction

Eunice Akani


Abstract
L’un des problèmes majeurs dans le résumé automatique de texte par abstraction est la fidélité du résumé généré vis-à-vis du document. Les systèmes peuvent produire des informations incohérentes vis-à-vis du document. Ici, nous mettons l’accent sur ce phénomène en restant focalisé sur les entités nommées. L’objectif est de réduire les hallucinations sur celles-ci. Ainsi, nous avons généré des résumés par sampling et avons sélectionné, à l’aide d’un critère basé sur le risque d’hallucination sur les entités et les performances du modèle, ceux qui minimisent les hallucinations sur les entités. Une étude empirique du critère montre son adaptabilité pour la sélection de résumé. Nous avons proposé des heuristiques pour la détection des entités qui sont des variations ou flexions d’autres entités. Les résultats obtenus montrent que le critère réduit les hallucinations sur les entités nommées en gardant un score ROUGE comparable pour CNN/DM.
Anthology ID:
2023.jeptalnrecital-rjc.2
Volume:
Actes de CORIA-TALN 2023. Actes des 16e Rencontres Jeunes Chercheurs en RI (RJCRI) et 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL)
Month:
6
Year:
2023
Address:
Paris, France
Editors:
Marie Candito, Thomas Gerald, José G Moreno
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
21–36
Language:
French
URL:
https://aclanthology.org/2023.jeptalnrecital-rjc.2
DOI:
Bibkey:
Cite (ACL):
Eunice Akani. 2023. Étude de la fidélité des entités dans les résumés par abstraction. In Actes de CORIA-TALN 2023. Actes des 16e Rencontres Jeunes Chercheurs en RI (RJCRI) et 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL), pages 21–36, Paris, France. ATALA.
Cite (Informal):
Étude de la fidélité des entités dans les résumés par abstraction (Akani, JEP/TALN/RECITAL 2023)
Copy Citation:
PDF:
https://preview.aclanthology.org/emnlp-22-attachments/2023.jeptalnrecital-rjc.2.pdf