Système de question-réponse visuelle par classification basé sur les LLMs et les transformateurs d'images pour le Haoussa

Read full text Summarise with VIRAT
Authors: Ali Mijiyawa
Cited by: 0
References: 90

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

Ce mémoire propose un système de question-réponse visuelle basé sur la classification de données pour le haoussa, une langue africaine peu dotée en ressources. L’approche combine des grands modèles de langue et des transformateurs d’images, en affinant les modèles linguistiques sur des textes en haoussa et en les associant aux représentations visuelles pour prédire des réponses dans un vocabulaire prédéfini. Trente-six combinaisons de modèles ont été évaluées selon trois stratégies d’apprentissage sur le corpusHaV QA de Parida et al. (2023), composé de 6 022 paires questions-réponses et 1 555 images : sans augmentation des données, avec augmentation en ligne des données, et avec augmentation hors ligne des données. La stratégie d’augmentation hors ligne a permis de créer un nouveau jeu de données, HaV QAaug, doublant la taille du corpus original. Les meilleurs résultats sont obtenus avec le modèle pré-entraîné en haoussa Gemini combiné au transformateur d’images ViT-base-patch16-224-in21k, atteignant 35,85 % de précision, 35,89 % de Wu-Palmer et 15,32 % de F1-score, soit un gain de plus de 5 % par rapport à l’état de l’art. Ces résultats démontrent l’importance d’un préentraînement linguistique spécifique et d’un enrichissement des données pour développer des systèmes performants dans des contextes multilingues à faible ressource, en particulier pour les langues africaines. _____________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : question-réponse visuelle, haoussa, traitement automatique des langues naturelles, transformateurs de vision, classification multimodale, langues peu dotées en ressources

Fields of Study & Subjects

Multimodal Machine Learning Applications Topic Modeling Natural Language Processing Techniques

Publication details

Journal / source
Archipel (Université du Québec à Montréal)
Publication date
1 March 2026
Language
FR
Document type
Thesis