@inproceedings{charpentier-etal-2025-alignements,
    title = "Alignements entre attention et s{\'e}mantique dans des mod{\`e}les de langues pr{\'e}-entra{\^i}n{\'e}s",
    author = "Charpentier, Fr{\'e}d{\'e}ric  and
      Cugliari Duhalde, Jairo  and
      Guille, Adrien",
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/ingest-emnlp/2025.jeptalnrecital-taln.6/",
    pages = "100--116",
    language = "fra",
    abstract = "Les AMR (Abstract Meaning Representation) sont une structure destin{\'e}e {\`a} coder la s{\'e}mantique de phrases sous forme de graphes. Les mots des phrases correspondantes peuvent {\^e}tre align{\'e}s avec les sommets de l{'}AMR, de telle sorte que les relations s{\'e}mantiques entre les mots puissent {\^e}tre mises en correspondance avec les r{\^o}les s{\'e}mantiques lus sur les arcs de l{'}AMR. Le m{\'e}canisme d{'}attention d{'}un mod{\`e}le de langue (ML) peut {\^e}tre mod{\'e}lis{\'e} comme le calcul de vecteurs descripteurs pour les ar{\^e}tes d{'}un graphe complet dont les sommets sont les mots d{'}une phrase ou d{'}un paragraphe entier. Dans cet article, nous projetons les graphes AMR sur les graphes d{'}attention et concevons des m{\'e}thodes supervis{\'e}es pour d{\'e}tecter les relations s{\'e}mantiques {\'e}tiquetant les ar{\^e}tes {\`a} partir des poids d{'}attention. Pour cela, nous mettons en {\oe}uvre des m{\'e}thodes op{\'e}rant soit sur les ar{\^e}tes une {\`a} une, soit sur le graphe d{'}attention entier afin de comparer les capacit{\'e}s s{\'e}mantiques de ML pr{\'e}-entra{\^i}n{\'e}s. Il ressort de cette {\'e}tude que l{'}encodeur bidirectionnel RoBERTA-base est meilleur que les d{\'e}codeurs causaux, jusqu'{\`a} Llama 3 8B."
}