Abstract
Les adaptations de rang faible (LoRa) sont devenues un standard pour adapter des modèles à un faible coût. Elles sont de plus en plus utilisées que ce soit en traitement du langage ou des images. Plusieurs études utilisent ces adaptations et cherchent à les combiner {}it a posteriori de manière à enrichir de manière additive les propriétés d’un modèle. Ces combinaisons suggèrent alors que nous pouvons associer les modèles dans l’espace des paramètres et que nous pouvons donner un sens à cela. Cette propriété n’est que très peu vérifiée dans la pratique et nous proposons ici plusieurs métriques visant à caractériser l’association entre les modèles dans l’espace des paramètres. Nous montrons finalement que nous pouvons corréler ces métriques avec les pertes de performance des modèles lorsque nous réalisons leurs combinaisons.- Anthology ID:
- 2024.jeptalnrecital-recital.6
- Volume:
- Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues
- Month:
- 7
- Year:
- 2024
- Address:
- Toulouse, France
- Editors:
- Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-dac, Julie Mauclair, Jose G Moreno, Julien Pinquier
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA and AFPC
- Note:
- Pages:
- 69–84
- Language:
- French
- URL:
- https://aclanthology.org/2024.jeptalnrecital-recital.6
- DOI:
- Cite (ACL):
- Loic Fosse. 2024. Géométrie des vecteurs de tâches pour l’association et la combinaison de modèles. In Actes de la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, pages 69–84, Toulouse, France. ATALA and AFPC.
- Cite (Informal):
- Géométrie des vecteurs de tâches pour l’association et la combinaison de modèles (Fosse, JEP/TALN/RECITAL 2024)
- PDF:
- https://preview.aclanthology.org/jeptaln-2024-ingestion/2024.jeptalnrecital-recital.6.pdf