Abstract
Cet article propose une architecture neuronale pour un modèle de langue à vocabulaire ouvert. Les représentations continues des mots sont calculées à la volée à partir des caractères les composant, gràce à une couche convolutionnelle suivie d’une couche de regroupement (pooling). Cela permet au modèle de représenter n’importe quel mot, qu’il fasse partie du contexte ou soit évalué pour la prédiction. La fonction objectif est dérivée de l’estimation contrastive bruitée (Noise Contrastive Estimation, ou NCE), calculable dans notre cas sans vocabulaire. Nous évaluons la capacité de notre modèle à construire des représentations continues de mots inconnus sur la tâche de traduction automatique IWSLT-2016, de l’Anglais vers le Tchèque, en ré-évaluant les N meilleures hypothèses (N-best reranking). Les résultats expérimentaux permettent des gains jusqu’à 0,7 point BLEU. Ils montrent aussi la difficulté d’utiliser des représentations dérivées des caractères pour la prédiction.- Anthology ID:
- 2017.jeptalnrecital-long.3
- Volume:
- Actes des 24ème Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 - Articles longs
- Month:
- 6
- Year:
- 2017
- Address:
- Orléans, France
- Editors:
- Iris Eshkol-Taravella, Jean-Yves Antoine
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA
- Note:
- Pages:
- 32–46
- Language:
- French
- URL:
- https://aclanthology.org/2017.jeptalnrecital-long.3
- DOI:
- Cite (ACL):
- Matthieu Labeau and Alexandre Allauzen. 2017. Représentations continues dérivées des caractères pour un modèle de langue neuronal à vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations). In Actes des 24ème Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 - Articles longs, pages 32–46, Orléans, France. ATALA.
- Cite (Informal):
- Représentations continues dérivées des caractères pour un modèle de langue neuronal à vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations) (Labeau & Allauzen, JEP/TALN/RECITAL 2017)
- PDF:
- https://preview.aclanthology.org/nschneid-patch-4/2017.jeptalnrecital-long.3.pdf