Evaluación de modelos fundacionales multimodales de deep learning para la clasificación de glaucoma a partir de imágenes de fondo de ojo
Summary
No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.
Summarise with VIRAT Free to try with your Science Catalogs account.Abstract
La detección automática del glaucoma a partir de imágenes de fondo de ojo constituye una tarea de gran relevancia en oftalmología, ya que esta enfermedad es una de las principales causas de ceguera irreversible. El análisis de la morfología del nervio óptico presenta una elevada complejidad visual y variabilidad, lo que dificulta un diagnóstico preciso cuando depende exclusivamente de la interpretación clínica. En este contexto, el presente Trabajo de Fin de Grado se centra en la evaluación de modelos fundacionales multimodales de lenguaje e imagen aplicados a la clasificación de glaucoma. Concretamente, se analizan los modelos preentrenados FLAIR y KeepFIT, seleccionados por su especialización en el dominio oftalmológico, su disponibilidad pública y su capacidad para integrar conocimiento clínico mediante descripciones textuales. El estudio se realiza sobre una base de datos unificada construida a partir de conjuntos de datos públicos heterogéneos, sobre la que se aplica un pipeline de preprocesamiento orientado a reducir la variabilidad visual y mejorar la calidad de las imágenes. El objetivo principal ha sido analizar el rendimiento y la capacidad de generalización de ambos modelos bajo distintos escenarios de transferencia de aprendizaje, incluyendo evaluaciones Zero-Shot, Few-Shot y Linear Probe. Para ello, se han llevado a cabo múltiples experimentos comparativos, evaluando los resultados mediante métricas clínicas y estadísticas estandarizadas como AUC-ROC, sensibilidad, especificidad, F1-score y el índice Kappa de Cohen. Adicionalmente, se ha desarrollado una herramienta interactiva que facilita la ejecución y visualización de los experimentos realizados por el sistema. Los resultados obtenidos muestran diferencias significativas en el desempeño de los modelos según el tipo de adaptación empleada y el conjunto de datos utilizado, destacando la importancia del preprocesamiento y de la inyección de conocimiento experto. Todo ello proporciona una base sólida para futuras investigaciones en esta línea de trabajo en el ámbito de la salud visual clínica. ABSTRACT The automatic detection of glaucoma from fundus images represents a highly relevant task in ophthalmology, as this disease is one of the leading causes of irreversible blindness worldwide. The analysis of optic nerve morphology involves high visual complexity and variability, which makes accurate diagnosis difficult when it relies exclusively on clinical interpretation. Within this context, this Final Degree Project focuses on the evaluation of multimodal foundation models combining vision and language for binary glaucoma classification. Specifically, the pre-trained models FLAIR and KeepFIT are analyzed, as they were selected for their specialization in the ophthalmological domain, their public availability, and their ability to incorporate clinical knowledge through textual descriptions. The study is conducted on a unified dataset constructed from heterogeneous public datasets, to which a preprocessing pipeline is applied in order to reduce visual variability and improve image quality. The main objective of this work has been to analyze the performance and generalization capability of both models under different transfer learning scenarios, including Zero-Shot, Few-Shot, and Linear Probe evaluations. To this end, multiple comparative experiments have been carried out, and the results have been assessed using standardized clinical and statistical metrics such as AUC-ROC, sensitivity, specificity, F1-score, and Cohen’s Kappa index. Additionally, an interactive tool has been developed to facilitate the execution, analysis, and visualization of the experiments performed by the system. The obtained results reveal significant differences in model performance depending on the type of adaptation strategy employed and the dataset used, highlighting the importance of data preprocessing and expert knowledge injection. Overall, this work provides a solid foundation for future research in this field and supports the potential of multimodal foundation models for clinical applications in visual health.
Fields of Study & Subjects
Retinal Imaging and Analysis
Glaucoma and retinal disorders
Ophthalmology and Visual Health Research
Publication details
- Journal / source
- UPM Digital Archive (Technical University of Madrid)
- Publication date
- 1 January 2026
- Language
- ES
- Document type
- Thesis