Une étude statistique des plongements dans les modèles transformers pour le français (An empirical statistical study of embeddings in French transformers)

Loïc Fosse, Duc-Hau Nguyen, Pascale Sébillot, Guillaume Gravier


Abstract
Nous étudions les propriétés statistiques des plongements dans les modèles transformers pour le français. Nous nous appuyons sur une analyse de la variance, des similarités cosinus intra-phrase et du rang effectif des plongements aux différents niveaux d’un transformer, pour des modèles pré-entraînés et des modèles adaptés à la classification de textes. Nous montrons que les modèles FlauBERT et CamemBERT pré-entraînés ont des comportements très différents même si les deux ont une tendance à générer des représentations anisotropiques, c’est-à-dire se concentrant dans un cône au sein de l’espace des plongements, comme observé pour l’anglais. L’adaptation à la classification de textes modifie le comportement des modèles, notamment dans les dernières couches, et procure une tendance forte à l’alignement des plongements, réduisant également la dimension effective de l’espace au final. Nous mettons également en évidence un lien entre convergence des plongements au sein d’une phrase et classification de texte, lien dont la nature reste difficile à appréhender.
Anthology ID:
2022.jeptalnrecital-taln.24
Volume:
Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale
Month:
6
Year:
2022
Address:
Avignon, France
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
247–256
Language:
French
URL:
https://aclanthology.org/2022.jeptalnrecital-taln.24
DOI:
Bibkey:
Cite (ACL):
Loïc Fosse, Duc-Hau Nguyen, Pascale Sébillot, and Guillaume Gravier. 2022. Une étude statistique des plongements dans les modèles transformers pour le français (An empirical statistical study of embeddings in French transformers). In Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale, pages 247–256, Avignon, France. ATALA.
Cite (Informal):
Une étude statistique des plongements dans les modèles transformers pour le français (An empirical statistical study of embeddings in French transformers) (Fosse et al., JEP/TALN/RECITAL 2022)
Copy Citation:
PDF:
https://preview.aclanthology.org/emnlp-22-attachments/2022.jeptalnrecital-taln.24.pdf