Fine-Tuning BGE-M3 for Defense Language Embedding Model: The Impact of Negative Sample Selection in Contrastive Learning
Abstract
언어 모델은 발전해왔지만, 국방 용어 이해에 특화된 한국어 모델은 부족하다. 기존 연구는 주로 BERT 기반 한국어 사전학습에 집중했으나, 본 논문은 다국어 사전학습된 BGE-M3를 국방 분야에 맞게 미세조정(Fine-tuning)하고, 대조학습(Contrastive Learning) 시 네거티브 샘플 선택이 성능에 미치는 영향을 분석했다. 네거티브 샘플링 방식으로 (1) 무작위(Easy), (2) 구분이 어려운(Hard), (3) 유사도가 높은(Harder) 방식을 비교한 결과, Harder 샘플링이 Accuracy, NMI, ARI에서 가장 우수했다. 또한, KorSTS 데이터셋으로 미세조정 전후의 Pearson 및 Spearman 상관계수를 분석한 결과, 기존 모델의 언어적 지식을 효과적으로 유지하면서도 국방 도메인에 특화됨을 확인했다.
Fields of Study & Subjects
Topic Modeling
Domain Adaptation and Few-Shot Learning
Sentiment Analysis and Opinion Mining
Publication details
- Journal / source
- Journal of KIISE
- Volume
- 53
- Issue
- 2
- Pages
- 117–123
- Publication date
- 28 February 2026
- Language
- EN