Aplicación web de ayuda en la corrección automatizada de exámenes escritos de desarrollo utilizando IA generativa

La evaluación de gran cantidad de exámenes de tipo respuesta abierta es una tarea docente que requiere de una elevada inversión de tiempo para su realización, presentando además otros importantes problemas y desafíos como son la consistencia y la escalabilidad. Para ayudar al profesor en esta ardua tarea proponemos Exam Grader, una aplicación web que integra modelos de Inteligencia Artificial Generativa mediante modelos de lenguaje de gran tamaño (Large Language Models, LLM) para asistir en la corrección automatizada mediante rúbricas. La solución propuesta en este artículo es un entorno en línea integrado que, además de la corrección asistida por IA, proporciona funcionalidades para el diseño de exámenes con rúbricas personalizadas, la recolección de respuestas, la comparación estadística IA-docente y el análisis visual de concordancias, anotación, comentarios generales y notificaciones por email. La herramienta propuesta se ha validado con datos de 91 exámenes reales en un curso tipo MOOC (Massive Open Online Course) de Introducción a la Filosofía Práctica, por medio de un análisis de la concordancia entre la IA y el profesor, y un análisis de la consistencia interna de la IA en 3 versiones diferentes de la misma. Los resultados obtenidos son muy prometedores y nos permiten concluir que es muy útil contar con la ayuda de la corrección basada en IA de exámenes escritos sin sustituir el juicio profesional docente. Este trabajo preliminar abre la puerta a futuras investigaciones destinadas a afinar la consistencia interna de la IA, hacerla más explicable, y validarla en otros ámbitos académicos.