Apprentissage de dépendances entre labels pour la classification multi-labels à l’aide de transformeurs
Haytame Fallah, Elisabeth Murisasco, Emmanuel Bruno, Patrice Bellot
Abstract
Dans cet article, nous proposons des approches pour améliorer les architectures basées sur des transformeurs pour la classification de documents multi-labels. Les dépendances entre les labels sont cruciales dans ce contexte. Notre méthode, appelée DepReg, ajoute un terme de régularisation à la fonction de perte pour encourager le modèle à prédire des labels susceptibles de coexister. Nous introduisons également un nouveau jeu de données nommé “arXiv-ACM”, composé de résumés scientifiques de la bibliothèque numérique arXiv, étiquetés avec les mots-clés ACM correspondants.- Anthology ID:
- 2023.jeptalnrecital-arts.6
- Volume:
- Actes de CORIA-TALN 2023. Actes de l'atelier "Analyse et Recherche de Textes Scientifiques" (ARTS)@TALN 2023
- Month:
- 6
- Year:
- 2023
- Address:
- Paris, France
- Editors:
- Florian Boudin, Béatrice Daille, Richard Dufour, Oumaima El, Maël Houbre, Léane Jourdan, Nihel Kooli
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA
- Note:
- Pages:
- 34–40
- Language:
- French
- URL:
- https://aclanthology.org/2023.jeptalnrecital-arts.6
- DOI:
- Cite (ACL):
- Haytame Fallah, Elisabeth Murisasco, Emmanuel Bruno, and Patrice Bellot. 2023. Apprentissage de dépendances entre labels pour la classification multi-labels à l’aide de transformeurs. In Actes de CORIA-TALN 2023. Actes de l'atelier "Analyse et Recherche de Textes Scientifiques" (ARTS)@TALN 2023, pages 34–40, Paris, France. ATALA.
- Cite (Informal):
- Apprentissage de dépendances entre labels pour la classification multi-labels à l’aide de transformeurs (Fallah et al., JEP/TALN/RECITAL 2023)
- PDF:
- https://preview.aclanthology.org/nschneid-patch-4/2023.jeptalnrecital-arts.6.pdf