Filtrage et régularisation pour améliorer la plausibilité des poids d’attention dans la tâche d’inférence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in NLI)

Duc Hau Nguyen, Guillaume Gravier, Pascale Sébillot

Abstract
Nous étudions la plausibilité d’un mécanisme d’attention pour une tâche d’inférence de phrases (entailment), c’est-à-dire sa capacité à fournir une explication plausible pour un humain de la relation entre deux phrases. En s’appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a été montré que les poids d’attention sont peu plausibles en pratique et tendent à ne pas se concentrer sur les tokens importants. Nous étudions ici différentes approches pour rendre les poids d’attention plus plausibles, en nous appuyant sur des masques issus d’une analyse morphosyntaxique ou sur une régularisation pour forcer la parcimonie. Nous montrons que ces stratégies permettent d’améliorer sensiblement la plausibilité des poids d’attention et s’avèrent plus performantes que les approches par carte de saillance.
Anthology ID:
2022.jeptalnrecital-taln.9
Volume:
Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale
Month:
6
Year:
2022
Address:
Avignon, France
Editors:
Yannick Estève, Tania Jiménez, Titouan Parcollet, Marcely Zanon Boito
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
95–103
Language:
French
URL:
https://aclanthology.org/2022.jeptalnrecital-taln.9
DOI:
Bibkey:
Cite (ACL):
Duc Hau Nguyen, Guillaume Gravier, and Pascale Sébillot. 2022. Filtrage et régularisation pour améliorer la plausibilité des poids d’attention dans la tâche d’inférence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in NLI). In Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale, pages 95–103, Avignon, France. ATALA.
Cite (Informal):
Filtrage et régularisation pour améliorer la plausibilité des poids d’attention dans la tâche d’inférence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in NLI) (Hau Nguyen et al., JEP/TALN/RECITAL 2022)
Copy Citation:
PDF:
https://preview.aclanthology.org/landing_page/2022.jeptalnrecital-taln.9.pdf
Data
e-SNLI
PDF Search