@inproceedings{labeau-allauzen-2017-representations,
    title = "Repr{\'e}sentations continues d{\'e}riv{\'e}es des caract{\`e}res pour un mod{\`e}le de langue neuronal {\`a} vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations)",
    author = "Labeau, Matthieu  and
      Allauzen, Alexandre",
    editor = "Eshkol-Taravella, Iris  and
      Antoine, Jean-Yves",
    booktitle = "Actes des 24{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Volume 1 - Articles longs",
    month = "6",
    year = "2017",
    address = "Orl{\'e}ans, France",
    publisher = "ATALA",
    url = "https://preview.aclanthology.org/jlcl-multiple-ingestion/2017.jeptalnrecital-long.3/",
    pages = "32--46",
    language = "fra",
    abstract = "Cet article propose une architecture neuronale pour un mod{\`e}le de langue {\`a} vocabulaire ouvert. Les repr{\'e}sentations continues des mots sont calcul{\'e}es {\`a} la vol{\'e}e {\`a} partir des caract{\`e}res les composant, gr{\`a}ce {\`a} une couche convolutionnelle suivie d`une couche de regroupement (pooling). Cela permet au mod{\`e}le de repr{\'e}senter n`importe quel mot, qu`il fasse partie du contexte ou soit {\'e}valu{\'e} pour la pr{\'e}diction. La fonction objectif est d{\'e}riv{\'e}e de l`estimation contrastive bruit{\'e}e (Noise Contrastive Estimation, ou NCE), calculable dans notre cas sans vocabulaire. Nous {\'e}valuons la capacit{\'e} de notre mod{\`e}le {\`a} construire des repr{\'e}sentations continues de mots inconnus sur la t{\^a}che de traduction automatique IWSLT-2016, de l`Anglais vers le Tch{\`e}que, en r{\'e}-{\'e}valuant les N meilleures hypoth{\`e}ses (N-best reranking). Les r{\'e}sultats exp{\'e}rimentaux permettent des gains jusqu'{\`a} 0,7 point BLEU. Ils montrent aussi la difficult{\'e} d`utiliser des repr{\'e}sentations d{\'e}riv{\'e}es des caract{\`e}res pour la pr{\'e}diction."
}