Le suivi efficace de l’acquisition des compétences dans les programmes de l’alternance, présente des défis importants pour la technologie éducative. Cet article présente un nouvel agent conversationnel intégré dans un livret de formation numérique qui relève ces défis grâce à une architecture multimodale. Notre système intègre (1) un graphe de connaissances spécifique à un domaine, lié à des référentiels de compétences, (2) des grands modèles de langage (LLM) et (3) un composant génératif basé sur BERT. Cette approche hybride permet à la fois une représentation structurée des trajectoires d’apprentissage et des capacités d’interaction en langage naturel, ce qui permet un suivi nuancé des progrès et des interventions personnalisées. L’évaluation empirique démontre que le système fournit un retour d’information contextuellement pertinent qui s’adapte aux modèles d’apprentissage individuels, ce qui permet une acquisition plus efficace des compétences.