@inproceedings{menad-2023-ir,
    title = "{IR}-{S}en{T}rans{B}io: Mod{\`e}les Neuronaux Siamois pour la Recherche d`Information Biom{\'e}dicale",
    author = "Menad, Safaa",
    editor = "Candito, Marie  and
      Gerald, Thomas  and
      Moreno, Jos{\'e} G",
    booktitle = "Actes de CORIA-TALN 2023. Actes des 16e Rencontres Jeunes Chercheurs en RI (RJCRI) et 25e Rencontre des {\'E}tudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (R{\'E}CITAL)",
    month = "6",
    year = "2023",
    address = "Paris, France",
    publisher = "ATALA",
    url = "https://preview.aclanthology.org/Ingest-2025-COMPUTEL/2023.jeptalnrecital-rjc.9/",
    pages = "131--142",
    language = "fra",
    abstract = "L`entra{\^i}nement de mod{\`e}les transformeurs de langages sur des donn{\'e}es biom{\'e}dicales a permis d`obtenir des r{\'e}sultats prometteurs. Cependant, ces mod{\`e}les de langage n{\'e}cessitent pour chaque t{\^a}che un affinement (fine-tuning) sur des donn{\'e}es supervis{\'e}es tr{\`e}s sp{\'e}cifiques qui sont peu disponibles dans le domaine biom{\'e}dical. Dans le cadre de la classification d`articles scientifiques et les r{\'e}ponses aux questions biom{\'e}dicales, nous proposons d`utiliser de nouveaux mod{\`e}les neuronaux siamois (sentence transformers) qui plongent des textes {\`a} comparer dans un espace vectoriel. Nos mod{\`e}les optimisent une fonction objectif d`apprentissage contrastif auto-supervis{\'e} sur des articles issus de la base de donn{\'e}es bibliographique MEDLINE associ{\'e}s {\`a} leurs mots-cl{\'e}s MeSH (Medical Subject Headings). Les r{\'e}sultats obtenus sur plusieurs benchmarks montrent que les mod{\`e}les propos{\'e}s permettent de r{\'e}soudre ces t{\^a}ches sans exemples (zero-shot) et sont comparables {\`a} des mod{\`e}les transformeurs biom{\'e}dicaux affin{\'e}s sur des donn{\'e}es supervis{\'e}s sp{\'e}cifiques aux probl{\`e}mes trait{\'e}s. De plus, nous exploitons nos mod{\`e}les dans la t{\^a}che de la recherche d`information biom{\'e}dicale. Nous montrons que la combinaison de la m{\'e}thode BM25 et de nos mod{\`e}les permet d`obtenir des am{\'e}liorations suppl{\'e}mentaires dans ce cadre."
}