Modèles de langue appliqués aux schémas Winograd français (Language Models applied to French Winograd Schemas)

Olga Seminck, Vincent Segonne, Pascal Amsili


Abstract
Les schémas Winograd sont des problèmes de résolution d’anaphores conçus pour nécessiter un raisonnement sur des connaissances du monde. Par construction, ils sont insensibles à des statistiques simples (co-occurrences en corpus). Pourtant, aujourd’hui, les systèmes état de l’art pour l’anglais se basent sur des modèles de langue pour résoudre les schémas (Trinh & Le, 2018). Nous présentons dans cet article une étude visant à tester des modèles similaires sur les schémas en français. Cela nous conduit à revenir sur les métriques d’évaluation utilisées dans la communauté pour les schémas Winograd. Les performances que nous obtenons, surtout comparées à celles de Amsili & Seminck (2017b), suggèrent que l’approche par modèle de langue des schémas Winograd reste limitée, sans doute en partie à cause du fait que les modèles de langue encodent très difficilement le genre de raisonnement nécessaire à la résolution des schémas Winograd.
Anthology ID:
2019.jeptalnrecital-court.20
Volume:
Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) PFIA 2019. Volume II : Articles courts
Month:
7
Year:
2019
Address:
Toulouse, France
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
343–350
Language:
French
URL:
https://aclanthology.org/2019.jeptalnrecital-court.20
DOI:
Bibkey:
Cite (ACL):
Olga Seminck, Vincent Segonne, and Pascal Amsili. 2019. Modèles de langue appliqués aux schémas Winograd français (Language Models applied to French Winograd Schemas). In Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) PFIA 2019. Volume II : Articles courts, pages 343–350, Toulouse, France. ATALA.
Cite (Informal):
Modèles de langue appliqués aux schémas Winograd français (Language Models applied to French Winograd Schemas) (Seminck et al., JEP/TALN/RECITAL 2019)
Copy Citation:
PDF:
https://preview.aclanthology.org/update-css-js/2019.jeptalnrecital-court.20.pdf