A Real-time Head Pose Estimation via YOLO-based Facial Landmark Detection using High-Fidelity Synthetic Data
Abstract
데이터 수집 제약과 Sim2Real 간극은 안면 방향 추정 시스템 개발의 주요 과제이다. 본 연구는 이 간극을 해소하고자 시각적 노이즈에 강건한 기하학적 랜드마크 정보를 핵심 특징으로 채택하였다. 방법론은 2단계 파이프라인으로 구성된다. 첫째, Unreal Engine과 MetaHuman을 활용하여 대규모 합성 데이터셋을 구축한다. 둘째, 합성 데이터와 실제 BIWI 데이터를 혼합하여 YOLOv11-pose 모델을 얼굴 랜드마크 검출기로 학습시키고, 랜드마크 좌표 기반으로 3축 각도 Roll, Pitch, Yaw를 실시간 추정한다. 실제 BIWI 데이터셋 검증에서 안면방향추정 모델은 Near-frontal 영역을 대상으로 한 검증에서 1.00도의 낮은 MAE를 보였으며, 최종 시스템은 웹캠 환경에서 21.2 FPS의 실시간 처리 속도를 보였다. 결론적으로, 합성 및 실제 데이터 결합과 랜드마크 기반은 정밀한 안면 방향 추정 기술의 실시간 적용 가능성을 제시한다.
Fields of Study & Subjects
Face recognition and analysis
Advanced Neural Network Applications
Human Pose and Action Recognition
Publication details
- Journal / source
- Journal of the Korea Society of Computer and Information
- Volume
- 31
- Issue
- 1
- Pages
- 77–89
- Publication date
- 31 January 2026
- Language
- EN