Abstract
L’estimation contrastive bruitée (NCE) et l’échantillonage par importance (IS) sont des procédures d’entraînement basées sur l’échantillonage, que l’on utilise habituellement à la place de l’estimation du maximum de vraisemblance (MLE) pour éviter le calcul du softmax lorsque l’on entraîne des modèles de langue neuronaux. Dans cet article, nous cherchons à résumer le fonctionnement de ces algorithmes, et leur utilisation dans la littérature du TAL. Nous les comparons expérimentalement, et présentons des manières de faciliter l’entraînement du NCE.- Anthology ID:
- 2018.jeptalnrecital-court.29
- Volume:
- Actes de la Conférence TALN. Volume 1 - Articles longs, articles courts de TALN
- Month:
- 5
- Year:
- 2018
- Address:
- Rennes, France
- Editors:
- Pascale Sébillot, Vincent Claveau
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA
- Note:
- Pages:
- 455–464
- Language:
- French
- URL:
- https://aclanthology.org/2018.jeptalnrecital-court.29
- DOI:
- Cite (ACL):
- Matthieu Labeau and Alexandre Allauzen. 2018. Algorithmes à base d’échantillonage pour l’entraînement de modèles de langue neuronaux (Here the title in English). In Actes de la Conférence TALN. Volume 1 - Articles longs, articles courts de TALN, pages 455–464, Rennes, France. ATALA.
- Cite (Informal):
- Algorithmes à base d’échantillonage pour l’entraînement de modèles de langue neuronaux (Here the title in English) (Labeau & Allauzen, JEP/TALN/RECITAL 2018)
- PDF:
- https://preview.aclanthology.org/nschneid-patch-1/2018.jeptalnrecital-court.29.pdf