Caracterización de interacciones humano-objeto mediante video vigilancia en el contexto del proyecto EYEFUL con Filtros de Kalman y algoritmos de fusión multisensorial

En este Trabajo Fin de Grado se diseña, implementa y valida una cadena de procesamiento para transformar detecciones 2D procedentes de múltiples cámaras en trayectorias 3D coherentes en un sistema de coordenadas del mundo (WCS), orientadas a la caracterización de interacciones humano–objeto (HOI) en actividades de la vida diaria. El problema se aborda en un escenario doméstico real, donde las oclusiones, pérdidas temporales de detección y ambigüedades de clase degradan la consistencia temporal y espacial si se trabaja con una sola vista. La solución se estructura como un pipeline reproducible: (i) ingesta y prefiltrado espacial de detecciones, (ii) seguimiento monocámara mediante un esquema tracking-by-detection con Filtro de Kalman, asociación global por fotograma mediante algoritmo Húngaro y validación estadística por gating (distancia de Mahalanobis), (iii) proyección a 3D en coordenadas del mundo (WCS) usando parámetros intrínsecos/extrínsecos y mapas de profundidad, y (iv) fusión multisensorial final mediante un “filtro maestro” que alinea cámaras usando la mesa como ancla geométrica y consolida trayectorias redundantes con un modelo 6D y criterios de exportación. La evaluación se realiza de forma cualitativa por clases, revisando la cadena completa detecciones→2D→3D→comparativa multivista→fusión. Los resultados muestran trayectorias finales consistentes cuando la entrada es estable (p. ej., persona o mantel), mientras que en clases intrínsecamente ambiguas (vasos y platos en mesa) las mejoras reducen duplicados y deriva, aunque persisten limitaciones impuestas por el dato de entrada y la calidad de la observación en mesa.