Apprentissage de sous-espaces de préfixes

Louis Falissard, Vincent Guigue, Laure Soulier

Abstract
Cet article propose une nouvelle façon d’ajuster des modèles de langue en “Few-shot learning” se basant sur une méthode d’optimisation récemment introduite en vision informatique, l’apprentissage de sous-espaces de modèles. Cette méthode, permettant de trouver non pas un point minimum local de la fonction coût dans l’espace des paramètres du modèle, mais tout un simplexe associé à des valeurs basses, présente typiquement des capacités de généralisation supérieures aux solutions obtenues par ajustement traditionnel. L’adaptation de cette méthode aux gros modèles de langue n’est pas triviale mais son application aux méthodes d’ajustement dites “Parameter Efficient” est quant à elle relativement naturelle. On propose de plus une façon innovante d’utiliser le simplexe de solution étudié afin de revisiter la notion de guidage de l’ajustement d’un modèle par l’inférence d’une métrique de validation, problématique d’actualité en “few-shot learning”. On montre finalement que ces différentes contributions centrées autour de l’ajustement de sous-espaces de modèles est empiriquement associée à un gain considérable en performances de généralisation sur les tâches de compréhension du langage du benchmark GLUE, dans un contexte de “few-shot learning”.
Anthology ID:
2023.jeptalnrecital-coria.4
Volume:
Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d'Information et Applications (CORIA)
Month:
6
Year:
2023
Address:
Paris, France
Editor:
Haïfa Zargayouna
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
59–73
Language:
French
URL:
https://preview.aclanthology.org/moar-dois/2023.jeptalnrecital-coria.4/
DOI:
Bibkey:
Cite (ACL):
Louis Falissard, Vincent Guigue, and Laure Soulier. 2023. Apprentissage de sous-espaces de préfixes. In Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d'Information et Applications (CORIA), pages 59–73, Paris, France. ATALA.
Cite (Informal):
Apprentissage de sous-espaces de préfixes (Falissard et al., JEP/TALN/RECITAL 2023)
Copy Citation:
PDF:
https://preview.aclanthology.org/moar-dois/2023.jeptalnrecital-coria.4.pdf
PDF Cite Search Fix data