Interpretability for Korean Language Models: Evidence from Attention Visualization
Abstract
본 연구는 한국어의 교착어적 특성과 형태론적 복잡성이 언어모델(LM) 내부 표현에 어떻게 반영되는지를 규명하고자 KLUE RoBERTa Base 모델을 NER 태스크에 파인튜닝한 뒤 어텐션 맵을 정성적 및 정량적으로 분석한다. 연구 방법은 문자 단위 라벨을 반영한 서브워드-라벨 정렬 및 마스킹 기반의 안정적 학습 설계, 어텐션 가중치 추출, 토큰 간의 어텐션 강도 시각화, 그리고 패턴별 어텐션 분포 산출로 구성된다. 어텐션 맵을 분석한 결과, 내부 응집(엔티티 내부 토큰이 스팬의 시작/말단에 집중), 경계 정렬(엔티티 직후 조사(O)의 경계 신호 작용), 장거리 의존성(원거리 논항의 의미적 결속) 패턴이 관찰된다. 이는 한국어의 언어적 특성이 어텐션 레이어와 헤드 수준에서 구조적으로 조직됨을 시사한다. 결론적으로 본 연구는 한국어 LM의 해석 가능성을 제고하고 다양한 과업에 적용할 수 있는 해석 가능성 연구의 기반을 마련한다.
Fields of Study & Subjects
Explainable Artificial Intelligence (XAI)
Topic Modeling
Natural Language Processing Techniques
Publication details
- Journal / source
- Journal of the Korea Society of Computer and Information
- Volume
- 31
- Issue
- 1
- Pages
- 41–49
- Publication date
- 31 January 2026
- Language
- EN