@inproceedings{decoupes-guille-2025-etude,
    title = "{\'E}tude des d{\'e}terminants impactant la qualit{\'e} de l{'}information g{\'e}ographique chez les {LLM}s : famille, taille, langue, quantization et fine-tuning",
    author = "Decoupes, R{\'e}my  and
      Guille, Adrien",
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes de l'atelier {\'E}valuation des mod{\`e}les g{\'e}n{\'e}ratifs (LLM) et challenge 2025 (EvalLLM)",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/corrections-2025-10/2025.jeptalnrecital-evalllm.9/",
    pages = "108--119",
    language = "fra",
    abstract = "Nous analysons l{'}impact de plusieurs facteurs d{'}optimisation sur la qualit{\'e} des informations g{\'e}ographiques contenues dans des grands mod{\`e}les de langue (LLMs) : famille, taille, {\guillemotleft}quantization{\guillemotright}, {\guillemotleft}instruction fine-tuning{\guillemotright}, prompt et langue. Nous {\'e}valuons {\'e}galement la qualit{\'e} des repr{\'e}sentations internes, en particulier pour les mod{\`e}les g{\'e}n{\'e}ratifs ayant des difficult{\'e}s {\`a} suivre les instructions. Nos r{\'e}sultats montrent que la quantization d{\'e}grade nettement les performances, tandis que les versions conversationnelles ({\guillemotleft}Instruct{\guillemotright}) perdent g{\'e}n{\'e}ralement en qualit{\'e} d{'}informations par rapport {\`a} leur version {\guillemotleft}base{\guillemotright}, {\`a} l{'}exception des mod{\`e}les de petite taille. L{'}ensemble de notre protocole d'{\'e}valuation est enti{\`e}rement reproductible et disponible en acc{\`e}s libre."
}