Léo Labat
2026
Polyglots or Multitudes? Multilingual LLM Answers to Value-laden Multiple-Choice Questions
Léo Labat | Etienne Ollion | François Yvon
Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers)
Léo Labat | Etienne Ollion | François Yvon
Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers)
Multiple-Choice Questions (MCQs) are often used to assess knowledge, reasoning abilities, and even values encoded in large language models (LLMs). While the effect of multilingualism has been studied on LLM factual recall, this paper seeks to investigate the less explored question of language-induced variation in value-laden MCQ responses. Are multilingual LLMs consistent in their responses across languages, *i.e.* behave like theoretical *polyglots*, or do they answer value-laden MCQs depending on the language of the question, like a *multitude* of monolingual models expressing different values through a single model? We release a new corpus, the Multilingual European Value Survey (**MEVS**), which, unlike prior work relying on machine translation or ad hoc prompts, solely comprises human-translated survey questions aligned in 8 European languages. We administer a subset of those questions to over thirty multilingual LLMs of various sizes, manufacturers and alignment-fine-tuning status under comprehensive, controlled prompt variations including answer order, symbol type, and tail character. Our results show that while larger, instruction-tuned models display higher overall consistency, the robustness of their responses varies greatly across questions, with certain MCQs eliciting total agreement *within and across* models while others leave LLM answers split. Language-specific behavior seems to arise in all consistent, instruction-fine-tuned models, but only on certain questions, warranting a further study of the selective effect of preference fine-tuning.
2025
Comment mesurer les biais politiques des grands modèles de langue multilingues?
Paul Lerner | Laurène Cave | Hal Daumé | Léo Labat | Gaël Lejeune | Pierre-Antoine Lequeu | Benjamin Piwowarski | Nazanin Shafiabadi | François Yvon
Actes de l'atelier Ethic and Alignment of (Large) Language Models 2025 (EALM)
Paul Lerner | Laurène Cave | Hal Daumé | Léo Labat | Gaël Lejeune | Pierre-Antoine Lequeu | Benjamin Piwowarski | Nazanin Shafiabadi | François Yvon
Actes de l'atelier Ethic and Alignment of (Large) Language Models 2025 (EALM)
Nous proposons une nouvelle méthode pour mesurer les biais politiques des grands modèles de langue multilingues pour la traduction automatique, l’aide à la rédaction et le résumé automatique. Nous nous appuyons sur une représentation dense des opinions politiques exprimées dans les textes, apprise de façon faiblement supervisée.
2024
Évaluation de l’apport des chaînes de coréférences pour le liage d’entités
Léo Labat | Lauriane Aufrant
Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position
Léo Labat | Lauriane Aufrant
Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position
Ce travail propose de revisiter les approches de liage d’entités au regard de la tâche très prochequ’est la résolution de coréférence. Nous observons en effet différentes configurations (appuyéespar l’exemple) où le reste de la chaîne de coréférence peut fournir des indices utiles pour améliorerla désambiguïsation. Guidés par ces motivations théoriques, nous menons une analyse d’erreursaccompagnée d’expériences oracles qui confirment le potentiel de stratégies de combinaison deprédictions au sein de la chaîne de coréférence (jusqu’à 4.3 F1 sur les mentions coréférentes en anglais). Nousesquissons alors une première preuve de concept de combinaison par vote, en explorant différentesheuristiques de pondération, qui apporte des gains modestes mais interprétables.