Zero-shot Referring Image Segmentation using Referring Expression Augmentation and Mask Aggregation
Abstract
컴퓨터 비전 기술이 발전함에 따라 영상 분할작업이 다양하게 활용되고 있다. 특히 사용자의 지시에 따른 정확한 영역 분할을 위해 참조 영상 분할 과업이 사용된다. 본 논문은 물체를 볼 때, 사전 지식을 이용하여 객체를 인식하는 인간의 인지 방식에서 착안한 참조 영상 분할 프레임워크를 도입한다. 거대 언어 모델을 이용하여 물체의 다양한 시각적 요소들을 유추하고, 유추한 요소들을 바탕으로 마스크 제안을 통합하는 방식을 제안하였다. 결과적으로 RefCOCO, RefCOCO+, RefCOCOg 벤치마크 데이터셋에서 기존의 방법 대비 oIoU, mIoU 성능이 각각 0.41%, 0.74% 향상하여 우리의 방법의 효과를 입증하였다.
Fields of Study & Subjects
Multimodal Machine Learning Applications
Advanced Neural Network Applications
Visual Attention and Saliency Detection
Publication details
- Journal / source
- Journal of KIISE
- Volume
- 53
- Issue
- 1
- Pages
- 15–21
- Publication date
- 31 January 2026
- Language
- EN