Attention sur les spans pour l’analyse syntaxique en constituants
Nicolas Floquet, Nadi Tomeh, Joseph Le Roux, Thierry Charnois
Abstract
Nous présentons une extension aux analyseurs syntaxiques en constituants neuronaux modernes qui consiste à doter les constituants potentiels d’une représentation vectorielle affinée en fonction du contexte par plusieurs applications successives d’un module de type transformer efficace (pooling par attention puis transformation non-linéaire).Nous appliquons cette extension à l’analyseur CRF de Yu Zhang & Al.Expérimentalement, nous testons cette extension sur deux corpus (PTB et FTB) avec ou sans vecteurs de mots dynamiques: cette extension permet d’avoir un gain constant dans toutes les configurations.- Anthology ID:
- 2023.jeptalnrecital-short.4
- Volume:
- Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : travaux de recherche originaux -- articles courts
- Month:
- 6
- Year:
- 2023
- Address:
- Paris, France
- Editors:
- Christophe Servan, Anne Vilnat
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA
- Note:
- Pages:
- 37–45
- Language:
- French
- URL:
- https://aclanthology.org/2023.jeptalnrecital-short.4
- DOI:
- Cite (ACL):
- Nicolas Floquet, Nadi Tomeh, Joseph Le Roux, and Thierry Charnois. 2023. Attention sur les spans pour l’analyse syntaxique en constituants. In Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 2 : travaux de recherche originaux -- articles courts, pages 37–45, Paris, France. ATALA.
- Cite (Informal):
- Attention sur les spans pour l’analyse syntaxique en constituants (Floquet et al., JEP/TALN/RECITAL 2023)
- PDF:
- https://preview.aclanthology.org/naacl-24-ws-corrections/2023.jeptalnrecital-short.4.pdf