Enseignement des LLM au lycée : une proposition exploratoire

En 2022, l'arrivée de ChatGPT, un LLM (Large Language Model) basé sur l'architecture Transformer, a bouleversé le monde. Préparer la génération future aux défis liés à l'IA est devenu une priorité. Au niveau de l'enseignement secondaire, malgré l'abondance de littérature sur l'enseignement des techniques basiques de l'IA et de la littératie de l'IA à un niveau macroscopique, il n'existe, à notre connaissance, encore aucun travail qui identifie les notions liées aux LLM enseignées aux élèves, ni aucun programme complet expliquant le fonctionnement interne des LLM, en particulier le Transformer, au niveau pré-universitaire. Cet article vise à identifier les éléments manquants actuellement nécessaires à cette compréhension. Pour cela, nous proposons un graphe de pré-requis qui identifie les connaissances pertinentes liées à chaque étape de la création d'un LLM. Puis nous proposons une « rapid mapping review » en mettant en correspondance les pratiques existantes avec les pré-requis dans le graphe. Les résultats préliminaires montrent que, si la majorité des programmes se concentrent sur les bases des réseaux de neurones et que certains permettent aux élèves d'explorer la représentation vectorielle des mots ou les distributions probabilistes produites par les LLM, le mécanisme d’attention au cœur de l’architecture Transformer demeure largement inexploré par les enseignants du secondaire, en raison de sa complexité. Cette étude s'inscrit dans une réflexion autour de la conception de séquences pédagogiques voire d'un programme d'étude complet de l'IA générative au niveau lycée.