@inproceedings{kuhnast-verlingue-2025-evaluation,
    title = "Evaluation et analyse des performances des grands mod{\`e}les de langue sur des {\'e}preuves d{'}examen de m{\'e}decine fran{\c{c}}ais",
    author = "Kuhnast, Adrien  and
      Verlingue, Loic",
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes de l'atelier Traitement du langage m{\'e}dical {\`a} l'{\'e}poque des LLMs 2025 (MLP-LLM)",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/corrections-2025-10/2025.jeptalnrecital-mlpllm.2/",
    pages = "14--24",
    language = "fra",
    abstract = "Les grands mod{\`e}les de langue (GMLs) ont d{\'e}montr{\'e} leur capacit{\'e} {\`a} r{\'e}pondre correctement {\`a} des questions de m{\'e}decine sur des bases anglaises. Or, leur param{\'e}trage par apprentissage profond les soumet au biais linguistique et doivent ainsi {\^e}tre {\'e}valu{\'e}s dans la langue de l{'}utilisateur. Nous avons {\'e}valu{\'e} des GMLs sur 278 questions {\`a} choix multiples provenant d{'}examens de m{\'e}decine (Lyon-Est 2024) de diff{\'e}rentes sp{\'e}cialit{\'e}s et respectant les recommandations nationales. Nos r{\'e}sultats montrent que les GMLs sont aussi bons que les {\'e}tudiants mais qu{'}il existe d{'}importantes variations selon les sp{\'e}cialit{\'e}s. Am{\'e}liorer la consigne en pr{\'e}cisant de s{'}appuyer sur les recommandations fran{\c{c}}aises modifie significativement les notes obtenues ce qui d{\'e}montre la n{\'e}cessit{\'e} d'{\'e}prouver les GMLs selon diff{\'e}rents contextes g{\'e}ographiques et linguistiques. Nous avons {\'e}galement analys{\'e} le type d{'}erreur que font les GMLs ce qui ouvre la porte {\`a} des am{\'e}liorations plus cibl{\'e}es."
}