Apuntes de la asignatura Otros Modelos de IA: Modelos Multimodales (Máster en Inteligencia Artificial Avanzada y Aplicada)

Este material constituye el corpus teórico de la asignatura 'Otros Modelos de IA: Modelos Multimodales' del Máster en Inteligencia Artificial Avanzada y Aplicada de la UV. El contenido aborda el estudio de arquitecturas capaces de procesar y alinear múltiples modalidades de datos (texto, imagen y audio) en espacios semánticos compartidos. A lo largo del documento se exploran conceptos clave como el aprendizaje contrastivo (CLIP), los modelos de difusión para generación de imagen (Stable Diffusion), y la integración de visión en grandes modelos de lenguaje (como GPT-4 o Gemini). Además, se incluyen secciones dedicadas a las técnicas de fine-tuning, el uso de mecanismos de atención intermodal y las consideraciones éticas en el despliegue de modelos generativos multimodales.