Évaluation Comparative de la Génération Contrainte vs. du Post-Parsing pour l’Analyse de Contenu par LLMs : Étude sur le Corpus EUvsDisinfo
Kévin Séjourné, Marine Foucher, Alexandru Lata, Jean-Fabrice Lebraty
Abstract
Les Grands Modèles de Langage (LLM) sont de plus en plus intégrés dans des applications nécessitant des sorties formatées. Deux approches principales existent : instruire le LLM de générer directement la structure (e.g., JSON, SQL) puis la parser (post-parsing), ou utiliser des techniques de génération contrainte garantissant la syntaxe. Cette étude compare rigoureusement ces deux méthodes sur une tâche d’analyse de désinformation à grande échelle ( 17k documents du corpus EUvsDisinfo) en utilisant quatre LLM (Llama-3.3 70B, DeepSeek R1 70B, Qwen 72B, Gemma 3 27B) et plusieurs températures de génération. Nos résultats indiquent que la génération contrainte offre une fiabilité syntaxique quasi parfaite, tandis que le post-parsing est opérationnellement plus robuste mais génère davantage d’erreurs de formatage.- Anthology ID:
- 2025.jeptalnrecital-evalllm.11
- Volume:
- Actes de l'atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM)
- Month:
- 6
- Year:
- 2025
- Address:
- Marseille, France
- Editors:
- Frédéric Bechet, Adrian-Gabriel Chifu, Karen Pinel-sauvagnat, Benoit Favre, Eliot Maes, Diana Nurbakova
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA \\& ARIA
- Note:
- Pages:
- 127–137
- Language:
- French
- URL:
- https://preview.aclanthology.org/corrections-2025-10/2025.jeptalnrecital-evalllm.11/
- DOI:
- Cite (ACL):
- Kévin Séjourné, Marine Foucher, Alexandru Lata, and Jean-Fabrice Lebraty. 2025. Évaluation Comparative de la Génération Contrainte vs. du Post-Parsing pour l’Analyse de Contenu par LLMs : Étude sur le Corpus EUvsDisinfo. In Actes de l'atelier Évaluation des modèles génératifs (LLM) et challenge 2025 (EvalLLM), pages 127–137, Marseille, France. ATALA \\& ARIA.
- Cite (Informal):
- Évaluation Comparative de la Génération Contrainte vs. du Post-Parsing pour l’Analyse de Contenu par LLMs : Étude sur le Corpus EUvsDisinfo (Séjourné et al., JEP/TALN/RECITAL 2025)
- PDF:
- https://preview.aclanthology.org/corrections-2025-10/2025.jeptalnrecital-evalllm.11.pdf