Control of a manipulator arm using computer vision for monitoring diseases in tomato plant leaves

La agricultura moderna demanda métodos eficientes para la detección temprana de enfermedades, un factor crítico para la seguridad alimentaria. Esta tesis presenta el diseño y simulación de un sistema robótico autónomo para el monitoreo de enfermedades en hojas de plantas de tomate, abordando las limitaciones de la inspección manual. Desarrollado en el entorno ROS 2 Humble, el sistema integra un brazo manipulador Universal Robots UR5e de 6 DOF, equipado con una cámara RGB-D. El flujo de trabajo comienza con la segmentación de la hoja de interés mediante una red neuronal Mask R-CNN. A partir de los datos de profundidad y la máscara resultante, se genera una nube de puntos 3D de la hoja. Sobre esta nube se calcula su centroide y vector normal, definiendo una pose de inspección. Esta pose objetiva es enviada al framework de planificación MoveIt 2, que calcula y ejecuta una trayectoria libre de colisiones para posicionar el efector final del robot. Finalmente, un modelo de aprendizaje profundo (TOLD2) analiza la imagen capturada para diagnosticar enfermedades como el tizón temprano y tardío. El proyecto validó en simulación un flujo completamente automatizado, sentando una base sólida para futuras implementaciones.