Évaluer le traitement compositionnel de la quantification par les grands modèles de langue

Les grands modèles de langage (LLMs) tels que ChatGPT ou DeepSeek produisent des textes fluides, mais leur capacité à analyser la signification de façon compositionnelle reste controversée. Ce mémoire évalue la compréhension compositionnelle des LLMs à travers la quantification, en particulier lorsqu’elle apparaît dans des structures récursives. Pour cela, plusieurs jeux de données originaux ont été construits, associant à chaque phrase contenant des quantificateurs (« un », « deux », « tous », « aucun », « plusieurs ») un contexte contrôlé, présenté sous forme textuelle ou visuelle, ainsi qu’une réponse attendue. Trois types de tâches ont été conçus : retrouver tous les objets correspondant à une description, en trouver un seul, ou vérifier la véracité d’une phrase dans un contexte donné. Les tests varient la profondeur d’enchâssement syntaxique (de 1 à 4 niveaux) et la complexité des quantificateurs. Les résultats montrent que la performance des modèles chute fortement avec la profondeur syntaxique, en particulier pour la tâche de « trouver tous les objets ». Les modèles éprouvent également des difficultés avec les quantificateurs « tous » et « deux ». Enfin, les contextes visuels posent plus de difficultés que les contextes textuels. Ces résultats suggèrent que les LLMs actuels pourraient ne pas appliquer de manière systématique une analyse compositionnelle du sens conforme aux principes de la sémantique formelle.