@inproceedings{simoulin-crabbe-2021-un,
    title = "Un mod{\`e}le Transformer G{\'e}n{\'e}ratif Pr{\'e}-entrain{\'e} pour le{\_}{\_}{\_}{\_}{\_}{\_} fran{\c{c}}ais (Generative Pre-trained Transformer in{\_}{\_}{\_}{\_}{\_}{\_} ({F}rench) We introduce a {F}rench adaptation from the well-known {GPT} model)",
    author = "Simoulin, Antoine  and
      Crabb{\'e}, Benoit",
    editor = "Denis, Pascal  and
      Grabar, Natalia  and
      Fraisse, Amel  and
      Cardon, R{\'e}mi  and
      Jacquemin, Bernard  and
      Kergosien, Eric  and
      Balvet, Antonio",
    booktitle = "Actes de la 28e Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf{\'e}rence principale",
    month = "6",
    year = "2021",
    address = "Lille, France",
    publisher = "ATALA",
    url = "https://preview.aclanthology.org/fix-sig-urls/2021.jeptalnrecital-taln.24/",
    pages = "246--255",
    language = "fra",
    abstract = "Nous proposons une adaptation en fran{\c{c}}ais du fameux mod{\`e}le Generative Pre-trained Transformer (GPT). Ce dernier appartient {\`a} la cat{\'e}gorie des architectures transformers qui ont significativement transform{\'e} les m{\'e}thodes de traitement automatique du langage. Ces architectures sont en particulier pr{\'e}-entra{\^i}n{\'e}es sur des t{\^a}ches auto-supervis{\'e}es et sont ainsi sp{\'e}cifiques pour une langue donn{\'e}e. Si certaines sont disponibles en fran{\c{c}}ais, la plupart se d{\'e}clinent avant tout en anglais. GPT est particuli{\`e}rement efficace pour les t{\^a}ches de g{\'e}n{\'e}ration de texte. Par ailleurs, il est possible de l{'}appliquer {\`a} de nombreux cas d{'}usages. Ses propri{\'e}t{\'e}s g{\'e}n{\'e}ratives singuli{\`e}res permettent de l{'}utiliser dans des conditions originales comme l{'}apprentissage sans exemple qui ne suppose aucune mise {\`a} jour des poids du mod{\`e}le, ou modification de l{'}architecture."
}