Concept-based methods for improving large language model performance in healthcare and scientific applications

Les grands modèles de langues (LLM) ont démontré des capacités remarquables dans de nombreux domaines. Toutefois, leur manque de transparence, la mauvaise calibration de leur confiance, ainsi que leur contrôlabilité limitée constituent des obstacles majeurs à leur adoption dans des contextes critiques tels que les soins de santé et la recherche scientifique. Cette thèse explore les méthodes fondées sur les concepts comme approche unificatrice pour répondre à ces limitations. Premièrement, nous introduisons Atypical Presentations Recalibration (APR), une approche qui explicite le concept d’atypicité médicale afin d’améliorer la fiabilité des systèmes de question-réponse médicale. Cette approche permet au modèle de reconnaître et de s’ajuster aux présentations rares ou non standard, atteignant ainsi une fiabilité supérieure aux estimations classiques d’incertitude. Deuxièmement, nous proposons Concept Activation Calibration (CAC), une méthode qui ancre la confiance du modèle dans ses représentations internes en exploitant les Concept Activation Vectors (CAVs). Cette méthode aligne la probabilité prédite de correction avec des signaux interprétables basés sur des concepts, offrant une confiance mieux calibrée et plus transparente. Enfin, nous explorons Concept-Based Steering pour la génération moléculaire conditionnelle, en montrant comment les directions conceptuelles dans l’espace de représentation des modèles peuvent guider la génération des LLMs vers des molécules présentant les propriétés chimiques souhaitées. Cette approche permet une génération conditionnelle contrôlable et efficace, sans nécessiter des techniques de fine-tuning. Dans leur ensemble, ces contributions démontrent que les méthodes fondées sur les concepts constituent des mécanismes interprétables, flexibles et contrôlables, capables d’améliorer les performances des LLMs dans les applications médicales et scientifiques.