@inproceedings{vartampetian-etal-2025-supergpqa,
    title = "{S}uper{GPQA}-{HCE}-{FR} : un corpus sp{\'e}cialis{\'e} en fran{\c{c}}ais pour le domaine hydraulique et le g{\'e}nie civil",
    author = "Vartampetian, Markarit  and
      Fabre, Diandra  and
      Mulhem, Philippe  and
      Joubert, Sylvain  and
      Schwab, Didier",
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes de l'atelier {\'E}valuation des mod{\`e}les g{\'e}n{\'e}ratifs (LLM) et challenge 2025 (EvalLLM)",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/corrections-2025-10/2025.jeptalnrecital-evalllm.20/",
    pages = "253--276",
    language = "fra",
    abstract = "Dans cet article, nous pr{\'e}sentons SuperGPQA-HCE-FR, une adaptation fran{\c{c}}aise d{'}un sous-ensemble du benchmark SuperGPQA ax{\'e} sur les domaines de l{'}ing{\'e}nierie hydraulique et du g{\'e}nie civil. Il comprend 285 questions {\`a} choix multiples con{\c{c}}ues pour {\'e}valuer et sp{\'e}cialiser des mod{\`e}les de langue multilingues de grande taille (LLMs) sur des t{\^a}ches techniques. La traduction r{\'e}alis{\'e}e automatiquement est ensuite {\'e}valu{\'e}e par des experts des domaines. Enfin, nous pr{\'e}sentons les premiers r{\'e}sultats sur des mod{\`e}les Instruct g{\'e}n{\'e}ralistes multilingues en comparant les performances du corpus original en anglais {\`a} celles du corpus traduit en fran{\c{c}}ais."
}