@inproceedings{zong-piwowarski-2025-vers,
    title = "Vers un {\'e}lagage de tokens sans co{\^u}t dans les mod{\`e}les de r{\'e}cup{\'e}ration {\`a} interaction tardive",
    author = "Zong, Yuxuan  and
      Piwowarski, Benjamin",
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes de la 20e Conf{\'e}rence en Recherche d{'}Information et Applications (CORIA)",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/ingest-emnlp/2025.jeptalnrecital-coria.25/",
    pages = "294--309",
    language = "fra",
    abstract = "Les mod{\`e}les de RI neuronaux {\`a} interaction tardive comme ColBERT offrent un compromis comp{\'e}titif entre efficacit{\'e} et efficience sur de nombreuses bases de r{\'e}f{\'e}rence. Cependant, ils n{\'e}cessitent un espace m{\'e}moire consid{\'e}rable pour stocker les repr{\'e}sentations contextuelles de tous les tokens des documents. Certains travaux ont propos{\'e} d{'}utiliser soit des heuristiques, soit des techniques bas{\'e}es sur les statistiques pour {\'e}laguer des tokens dans chaque document. Cependant, cela ne garantit pas que les tokens supprim{\'e}s n{'}aient aucun impact sur le score de r{\'e}cup{\'e}ration. Notre travail utilise une approche m{\'e}thodique pour d{\'e}finir comment {\'e}laguer des tokens sans affecter le score entre un document et une question. Nous introduisons trois co{\^u}ts de r{\'e}gularisation, qui induisent une solution avec des taux d'{\'e}lagage {\'e}lev{\'e}s, ainsi que deux strat{\'e}gies d'{\'e}lagage. Nous les {\'e}tudions exp{\'e}rimentalement (en domaine interne et externe), d{\'e}montrant que nous pouvons pr{\'e}server les performances de ColBERT tout en n{'}utilisant que 30{\%} des tokens."
}