Extracción automática de información estructurada en recibos mediante herramientas de PLN y CV

Read full text Summarise with VIRAT
Authors: Isha Hussain Shaheen
Cited by: 0
References: 7

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

Este trabajo aborda el problema de extraer información estructurada automáticamente desde imágenes de recibos, una tarea relevante dado que muchas empresas procesan manualmente grandes volúmenes de estos documentos, lo que consume tiempo y es propenso a errores. El objetivo principal es comparar enfoques tradicionales basados en OCR y reglas con técnicas modernas basadas en modelos de lenguaje multimodal (LLM), y evaluar la viabilidad de sistemas híbridos que combinen ambos enfoques. Se han desarrollado e implementado tres sistemas complementarios: DT1, un sistema baseline que utiliza OCR (Tesseract y EasyOCR) seguido de parsing basado en reglas y expresiones regulares; DT2, un sistema avanzado que utiliza el modelo multimodal Gemini 2.5 Flash mediante API para extraer información directamente desde imágenes; y DT3, un sistema híbrido que combina los resultados de DT1 y DT2 mediante una estrategia de fusión adaptativa multi-criterio. La evaluación se realizó sobre 101 recibos del dataset CORD, utilizando métricas de accuracy por campo (total, subtotal, tax) y accuracy global. Los resultados muestran que DT1 alcanza un 23.59% de accuracy promedio (con EasyOCR), DT2 alcanza un 89.27% de accuracy, y DT3 alcanza un 85.45% de accuracy. Estos resultados demuestran que los modelos LLM multimodales superan significativamente a los enfoques basados en reglas (+65 puntos porcentuales), confirmando que representan el estado del arte actual para esta tarea. El sistema híbrido DT3, aunque no supera a DT2, valida el concepto de fusión adaptativa y establece una base para futuras mejoras. Este trabajo contribuye al campo mediante una comparación objetiva y cuantitativa entre enfoques tradicionales y modernos, la implementación de una estrategia de fusión adaptativa novedosa, y la provisión de un marco de trabajo reproducible con scripts de evaluación y documentación técnica completa.

Fields of Study & Subjects

Handwritten Text Recognition Techniques Robotic Process Automation Applications Information Systems and Technology Applications

Publication details

Journal / source
UPCommons institutional repository (Universitat Politècnica de Catalunya)
Publication date
21 January 2026
Language
ES
Document type
Thesis