Abstract
Les grands modèles de langage deviennent la solution de choix pour de nombreuses tâches de traitement du langage naturel, y compris dans des domaines spécialisés où leurs capacités few-shot devraient permettre d’obtenir des performances élevées dans des environnements à faibles ressources. Cependant, notre évaluation de 10 modèles auto-régressifs et 16 modèles masqués montre que, bien que les modèles auto-régressifs utilisant des prompts puissent rivaliser en termes de reconnaissance d’entités nommées (REN) en dehors du domaine clinique, ils sont dépassés dans le domaine clinique par des taggers biLSTM-CRF plus légers reposant sur des modèles masqués. De plus, les modèles masqués ont un bien moindre impact environnemental que les modèles auto-régressifs. Ces résultats, cohérents dans les trois langues étudiées, suggèrent que les modèles à apprentissage few-shot ne sont pas encore adaptés à la production de REN dans le domaine clinique, mais pourraient être utilisés pour accélérer la création de données annotées de qualité.- Anthology ID:
- 2024.jeptalnrecital-taln.12
- Volume:
- Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position
- Month:
- 7
- Year:
- 2024
- Address:
- Toulouse, France
- Editors:
- Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-dac, Julie Mauclair, Jose G Moreno, Julien Pinquier
- Venue:
- JEP/TALN/RECITAL
- SIG:
- Publisher:
- ATALA and AFPC
- Note:
- Pages:
- 169–197
- Language:
- French
- URL:
- https://aclanthology.org/2024.jeptalnrecital-taln.12
- DOI:
- Cite (ACL):
- Marco Naguib, Aurélie Névéol, and Xavier Tannier. 2024. Reconnaissance d’entités cliniques en few-shot en trois langues. In Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position, pages 169–197, Toulouse, France. ATALA and AFPC.
- Cite (Informal):
- Reconnaissance d’entités cliniques en few-shot en trois langues (Naguib et al., JEP/TALN/RECITAL 2024)
- PDF:
- https://preview.aclanthology.org/naacl-24-ws-corrections/2024.jeptalnrecital-taln.12.pdf