@inproceedings{mosolova-etal-2025-raffinage,
    title = "Raffinage des repr{\'e}sentations des tokens dans les mod{\`e}les de langue pr{\'e}-entra{\^i}n{\'e}s avec l{'}apprentissage contrastif : une {\'e}tude entre mod{\`e}les et entre langues",
    author = "Mosolova, Anna  and
      Candito, Marie  and
      Ramisch, Carlos",
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/corrections-2025-10/2025.jeptalnrecital-taln.40/",
    pages = "666--681",
    language = "fra",
    abstract = "Les mod{\`e}les de langue pr{\'e}-entra{\^i}n{\'e}s ont apport{\'e} des avanc{\'e}es significatives dans les repr{\'e}sentations contextuelles des phrases et des mots. Cependant, les t{\^a}ches lexicales restent un d{\'e}fi pour ces repr{\'e}sentations en raison des probl{\`e}mes tels que la faible similarit{\'e} des representations d{'}un m{\^e}me mot dans des contextes similaires. Mosolova et al. (2024) ont montr{\'e} que l{'}apprentissage contrastif supervis{\'e} au niveau des tokens permettait d{'}am{\'e}liorer les performances sur les t{\^a}ches lexicales. Dans cet article, nous {\'e}tudions la g{\'e}n{\'e}ralisabilit{\'e} de leurs r{\'e}sultats obtenus en anglais au fran{\c{c}}ais, {\`a} d{'}autres mod{\`e}les de langue et {\`a} plusieurs parties du discours. Nous d{\'e}montrons que cette m{\'e}thode d{'}apprentissage contrastif am{\'e}liore syst{\'e}matiquement la performance sur les t{\^a}ches de Word-in-Context et surpasse celle des mod{\`e}les de langage pr{\'e}-entra{\^i}n{\'e}s standards. L{'}analyse de l{'}espace des plongements lexicaux montre que l{'}affinage des mod{\`e}les rapproche les exemples ayant le m{\^e}me sens et {\'e}loigne ceux avec des sens diff{\'e}rents, ce qui indique une meilleure discrimination des sens dans l{'}espace vectoriel final."
}