@inproceedings{bazoge-etal-2024-taches,
    title = "T{\^a}ches et syst{\`e}mes de s{\'e}lection automatique de r{\'e}ponses {\`a} des {QCM} dans le domaine m{\'e}dical : Pr{\'e}sentation de la campagne {DEFT} 2024",
    author = "Bazoge, Adrien  and
      Labrak, Yanis  and
      Dufour, Richard  and
      Favre, Benoit  and
      Rouvier, Mickael",
    editor = "Dufour, Richard  and
      Favre, Benoit  and
      Rouvier, Mickael  and
      Bazoge, Adrien  and
      Labrak, Yanis",
    booktitle = "Actes du D{{\textbackslash}'e}fi Fouille de Textes@TALN 2024",
    month = "7",
    year = "2024",
    address = "Toulouse, France",
    publisher = "ATALA {{\textbackslash}textbackslash}{{\textbackslash}{\textbackslash}{\&}} AFPC",
    url = "https://aclanthology.org/2024.jeptalnrecital-deft.1",
    pages = "1--10",
    abstract = "L{'}{\'e}dition 2024 du D{\'E}fi Fouille de Textes (DEFT) met l{'}accent sur le d{\'e}veloppement de m{\'e}thodes pour la s{\'e}lection automatique de r{\'e}ponses pour des questions {\`a} choix multiples (QCM) en fran{\c{c}}ais. Les m{\'e}thodes sont {\'e}valu{\'e}es sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions ferm{\'e}es avec cinq options chacune, provenant des archives d{'}examens de pharmacie. Dans la premi{\`e}re t{\^a}che, les participants doivent se concentrer sur des petits mod{\`e}les de langue (PML) avec moins de 3 milliards de param{\`e}tres et peuvent {\'e}galement utiliser les corpus sp{\'e}cifiques au domaine m{\'e}dical NACHOS et Wikipedia s{'}ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second t{\^a}che l{\`e}ve la restriction sur la taille des mod{\`e}les de langue. Les r{\'e}sultats, mesur{\'e}s par l{'}Exact Match Ratio (EMR), varient de 1,68{\%} {\`a} 11,74{\%}, tandis que les performances selon le score de Hamming vont de 28,75{\%} {\`a} 49,15{\%} pour la premi{\`e}re t{\^a}che. Parmi les approches propos{\'e}es par les cinq {\'e}quipes participantes, le meilleur syst{\`e}me utilise une cha{\^\i}ne combinant un classifieur CamemBERT-bio pour identifier le type de question et un syst{\`e}me RAG fond{\'e} sur Apollo 2B, affin{\'e} avec la m{\'e}thode d{'}adaptation LoRA sur les donn{\'e}es de l{'}ann{\'e}e pr{\'e}c{\'e}dente.",
    language = "French",
}