@inproceedings{shafiabadi-wisniewski-2025-anti,
    title = "Anti-surprise : Une m{\'e}trique compl{\'e}mentaire pour {\'e}valuer l{'}apprentissage lexical des (grands) mod{\`e}les de langue",
    author = "Shafiabadi, Nazanin  and
      Wisniewski, Guillaume",
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : traductions d'articles publi{\'e}s",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/ingest-emnlp/2025.jeptalnrecital-trad.4/",
    pages = "5--5",
    language = "fra",
    abstract = "Un grand nombre de travaux s{'}appuient sur l{'}analyse des courbes de surprise pour {\'e}valuer la mani{\`e}re dont les mod{\`e}les de langue capture le sens des mots au cours de leur apprentissage. Toutefois, cette approche ne consid{\`e}re que la capacit{\'e} d{'}un mod{\`e}le {\`a} pr{\'e}dire un mot dans des contextes appropri{\'e}s, sans prendre en compte sa capacit{\'e} {\`a} ne pas produire ce mot dans des contextes inappropri{\'e}s. Pour combler cette lacune, nous introduisons une nouvelle mesure compl{\'e}mentaire, que nous appelons l{'}anti-surpris, qui {\'e}value la capacit{\'e} d{'}un mod{\`e}le {\`a} ne pas utiliser un mot dans des contextes o{\`u} il serait surprenant voire erron{\'e}. Nous montrons que l{'}analyse conjointe des courbes de surprise et d{'}anti-surprise permet de mieux caract{\'e}riser l{'}acquisition du lexique par les mod{\`e}les de langue."
}