Improving language models for underserved languages and communities

Les technologies d’intelligence artificielle (IA), principalement propulsées par les grands modèles de langage (large language models, LLMs, ou simplement modèles de langage), connaissent une progression rapide et deviennent de plus en plus capables d’accomplir un large éventail de tâches. Elles peuvent écrire du code informatique, rédiger des courriels et des contrats professionnels, créer des vidéos entières, commander un taxi, et même conduire des véhicules. Ces systèmes comprennent et communiquent avec les humains par le biais du langage; par conséquent, leurs performances sont intrinsèquement limitées par les langues qu’ils sont capables de comprendre. Malgré l’existence de plus de 7,000 langues parlées par environ 8 milliards de personnes à travers le monde, les LLMs affichent aujourd’hui des performances robustes dans un nombre restreint de langues à forte dotation en ressources, telles que l’anglais. Cette asymétrie engendre des inégalités majeures : les locuteurs des langues privilégiées bénéficient de manière disproportionnée de ces technologies, tandis que la grande majorité des communautés qui ne parlent pas ces langues — que nous qualifions de communautés mal desservies (underserved communities) — en sont exclues. Si cette situation n’est pas corrigée, elle risque de marginaliser de vastes populations mondiales vis-à-vis du progrès technologique et de rendre leurs langues obsolètes dans l’espace numérique, menaçant ainsi l’extinction tant des langues que des cultures qui y sont associées. Ce mémoire s’inscrit dans une démarche visant à assurer une représentation aussi large que possible des populations, de leurs langues et de leurs cultures au sein des technologies du langage. Cela implique d’adapter des modèles de langage toujours plus avancés aux langues et aux communautés mal desservies. Pour atteindre cet objectif, nous analysons les défis liés à l’adaptation des modèles de langage à ces communautés selon deux perspectives complémentaires et proposons des solutions innovantes pour y répondre. Les données constituent le socle fondamental des modèles de langage : leur disponibilité — ou leur insuffisance — au sein d’une communauté linguistique donnée influence directement l’efficacité — ou, au contraire, la dégradation — des performances du modèle. Pour de nombreuses communautés mal desservies, les performances limitées des modèles de langage sont en grande partie dues à l’inefficacité des cadres traditionnels de collecte de données, qui peinent à produire des ensembles de données de grande taille, représentatifs et de haute qualité. Dans le premier chapitre de ce mémoire, nous examinons les défis socio-techniques liés à la mise à l’échelle de la collecte de données au sein des communautés mal desservies du Sud global, et nous proposons le cadre de data farming, une approche visant à déployer efficacement la collecte de données culturelles de haute qualité dans ces communautés linguistiques. Nous démontrons l’efficacité de cette approche en l’utilisant pour créer le jeu de données NaijaVoices, le plus vaste corpus vocal africain à ce jour, comprenant 1,800 heures de parole provenant de 5,000 personnes issues de trois communautés linguistiques africaines. Toutefois, la constitution de grands ensembles de données n’est pas envisageable pour toutes les langues du monde. Pour certaines langues, notamment les langues autochtones ou celles menacées de disparition, les héritages de la colonisation, l’érosion culturelle et la diminution de l’usage linguistique liée à l’urbanisation rendent impossible la collecte de données à l’échelle requise par les méthodes conventionnelles d’entraînement des modèles de langage. Néanmoins, le développement de technologies linguistiques robustes demeure essentiel pour ces langues, en particulier dans une optique de préservation linguistique. Dans le second chapitre, en prenant la traduction automatique comme étude de cas, nous analysons les approches traditionnelles de ce domaine, en mettant l’accent sur leurs limites pour les langues mal desservies. Nous introduisons ensuite GrammarLLM, une approche alternative pour la traduction automatique des langues en danger ou à très faibles ressources : cette méthode s’affranchit de la dépendance à de vastes ensembles de données et exploite plutôt les ressources linguistiques intrinsèques d’une langue, à savoir sa grammaire et ses dictionnaires. Nous démontrons la faisabilité de GrammarLLM en traduisant de l’anglais vers trois langues cibles: le dagaare, l’igbo et le turc. À travers ce mémoire, nous contribuons à l’amélioration des modèles de langage pour les langues et les communautés mal desservies, tant au niveau des configurations de données que des architectures de modèles, et œuvrons à garantir que chaque communauté, indépendamment de la langue qu’elle parle, puisse accéder aux technologies du langage et en tirer bénéfice à l’échelle mondiale.