@inproceedings{fagnou-etal-2025-attention,
    title = "Attention Cha{\^i}n{\'e}e et Causale pour un Suivi Efficace des Entit{\'e}s",
    author = "Fagnou, Erwan  and
      Caillon, Paul  and
      Delattre, Blaise  and
      Allauzen, Alexandre",
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d'articles publi{\'e}s",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/corrections-2025-10/2025.jeptalnrecital-trad.6/",
    pages = "8--8",
    language = "fra",
    abstract = "Ce travail met en {\'e}vidence une limitation th{\'e}orique des transformers pour les t{\^a}ches de suivi d{'}entit{\'e}s, montrant qu{'}ils n{\'e}cessitent log2(n+ 1) couches pour g{\'e}rer n changements d'{\'e}tat. Pour surmonter cette contrainte, nous proposons ChaCAL (Chain and Causal Attention Layer), une modification de l{'}attention standard qui l{'}interpr{\`e}te comme une matrice d{'}adjacence, permettant de capturer efficacement les d{\'e}pendances longues avec une seule couche. Les exp{\'e}riences men{\'e}es sur un jeu de donn{\'e}es synth{\'e}tique et un autre de suivi d{'}objets d{\'e}montrent que ChaCAL surpasse les transformers classiques en r{\'e}duisant la profondeur du mod{\`e}le, tout en maintenant des performances comp{\'e}titives sur une t{\^a}che de mod{\'e}lisation du langage. Cette approche optimise l{'}efficacit{\'e} des mod{\`e}les tout en r{\'e}duisant leur co{\^u}t computationnel."
}