Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances
Raphaël Sourty, Jose G Moreno, François-Paul Servant, Lynda Tamine
Abstract
Les bases de connaissances sont des ressources essentielles dans un large éventail d’applications à forte intensité de connaissances. Cependant, leur incomplétude limite intrinsèquement leur utilisation et souligne l’importance de les compléter. À cette fin, la littérature a récemment adopté un point de vue de monde ouvert en associant la capacité des bases de connaissances à représenter des connaissances factuelles aux capacités des modèles de langage pré-entraînés (PLM) à capturer des connaissances linguistiques de haut niveau et contextuelles à partir de corpus de textes. Dans ce travail, nous proposons un cadre de distillation pour la complétion des bases de connaissances où les PLMs exploitent les étiquettes souples sous la forme de prédictions d’entités et de relations fournies par un modèle de plongements de bases de connaissances, tout en conservant leur pouvoir de prédiction d’entités sur de grandes collections des textes. Pour mieux s’adapter à la tâche de complétion des connaissances, nous étendons la modélisation traditionnelle du langage masqué des PLM à la prédiction d’entités et d’entités liées dans le contexte. Des expériences utilisant les tâches à forte intensité de connaissances dans le cadre du benchmark d’évaluation KILT montrent le potentiel de notre approche.- Anthology ID:
- 2023.jeptalnrecital-coria.9
- Volume:
- Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d'Information et Applications (CORIA)
- Month:
- 6
- Year:
- 2023
- Address:
- Paris, France
- Editor:
- Haïfa Zargayouna
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA
- Note:
- Pages:
- 139–156
- Language:
- French
- URL:
- https://aclanthology.org/2023.jeptalnrecital-coria.9
- DOI:
- Cite (ACL):
- Raphaël Sourty, Jose G Moreno, François-Paul Servant, and Lynda Tamine. 2023. Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances. In Actes de CORIA-TALN 2023. Actes de la 18e Conférence en Recherche d'Information et Applications (CORIA), pages 139–156, Paris, France. ATALA.
- Cite (Informal):
- Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances (Sourty et al., JEP/TALN/RECITAL 2023)
- PDF:
- https://preview.aclanthology.org/dois-2013-emnlp/2023.jeptalnrecital-coria.9.pdf