@inproceedings{hau-nguyen-etal-2022-filtrage,
    title = "Filtrage et r{\'e}gularisation pour am{\'e}liorer la plausibilit{\'e} des poids d{'}attention dans la t{\^a}che d{'}inf{\'e}rence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in {NLI})",
    author = "Hau Nguyen, Duc  and
      Gravier, Guillaume  and
      S{\'e}billot, Pascale",
    editor = "Est{\`e}ve, Yannick  and
      Jim{\'e}nez, Tania  and
      Parcollet, Titouan  and
      Zanon Boito, Marcely",
    booktitle = "Actes de la 29e Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf{\'e}rence principale",
    month = "6",
    year = "2022",
    address = "Avignon, France",
    publisher = "ATALA",
    url = "https://preview.aclanthology.org/ingest-emnlp/2022.jeptalnrecital-taln.9/",
    pages = "95--103",
    language = "fra",
    abstract = "Nous {\'e}tudions la plausibilit{\'e} d{'}un m{\'e}canisme d{'}attention pour une t{\^a}che d{'}inf{\'e}rence de phrases (entailment), c{'}est-{\`a}-dire sa capacit{\'e} {\`a} fournir une explication plausible pour un humain de la relation entre deux phrases. En s{'}appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a {\'e}t{\'e} montr{\'e} que les poids d{'}attention sont peu plausibles en pratique et tendent {\`a} ne pas se concentrer sur les tokens importants. Nous {\'e}tudions ici diff{\'e}rentes approches pour rendre les poids d{'}attention plus plausibles, en nous appuyant sur des masques issus d{'}une analyse morphosyntaxique ou sur une r{\'e}gularisation pour forcer la parcimonie. Nous montrons que ces strat{\'e}gies permettent d{'}am{\'e}liorer sensiblement la plausibilit{\'e} des poids d{'}attention et s{'}av{\`e}rent plus performantes que les approches par carte de saillance."
}