A Multimodal-based Document Understanding Pipeline to Mitigate OCR Vulnerabilities in Distorted Documents
Abstract
본 연구는 왜곡된 문서 이미지에서 발생하는 텍스트 누락과 오인식으로 인해 문서 이해 성능이 저하되는 문제를 완화하기 위한 파이프라인을 제안한다. 1단계에서는 polygon 기반 텍스트 탐지·인식 모델을 활용하여 기존 OCR의 한계를 보완하고, 2단계에서는 왜곡을 반영한 사전학습을 통해 강건한 문서 표현을 학습하도록 하였다. 왜곡 합성 데이터셋을 활용해 텍스트 보존율 80~100% 구간에서 시각적 질의응답 성능을 평가한 결과, 텍스트 보완 모듈은 OCR 검출률을 향상시켰으며 사전학습 전략은 왜곡 표현 학습에 효과적임을 확인하였다. 본 연구는 실제 환경에서 흔히 발생하는 문서 왜곡에 대응 가능한 안정적인 문서 이해 모델 설계를 위한 방향을 제시한다.
Fields of Study & Subjects
Handwritten Text Recognition Techniques
Advanced Neural Network Applications
Multimodal Machine Learning Applications
Publication details
- Journal / source
- The Journal of the Korean Institute of Information and Communication Engineering
- Volume
- 30
- Issue
- 1
- Pages
- 62–74
- Publication date
- 31 January 2026
- Language
- EN