Evaluation des Modèles de Langage n-gram et n/m-multigram

Pierre Alain, Olivier Boeffard


Abstract
Cet article présente une évaluation de modèles statistiques du langage menée sur la langue Française. Nous avons cherché à comparer la performance de modèles de langage exotiques par rapport aux modèles plus classiques de n-gramme à horizon fixe. Les expériences réalisées montrent que des modèles de n-gramme à horizon variable peuvent faire baisser de plus de 10% en moyenne la perplexité d’un modèle de n-gramme à horizon fixe. Les modèles de n/m-multigramme demandent une adaptation pour pouvoir être concurrentiels.
Anthology ID:
2005.jeptalnrecital-long.36
Volume:
Actes de la 12ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
Month:
June
Year:
2005
Address:
Dourdan, France
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
351–360
Language:
French
URL:
https://aclanthology.org/2005.jeptalnrecital-long.36
DOI:
Bibkey:
Cite (ACL):
Pierre Alain and Olivier Boeffard. 2005. Evaluation des Modèles de Langage n-gram et n/m-multigram. In Actes de la 12ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs, pages 351–360, Dourdan, France. ATALA.
Cite (Informal):
Evaluation des Modèles de Langage n-gram et n/m-multigram (Alain & Boeffard, JEP/TALN/RECITAL 2005)
Copy Citation:
PDF:
https://preview.aclanthology.org/remove-xml-comments/2005.jeptalnrecital-long.36.pdf