Ruri: Japanese General Text Embeddings
Abstract
近年，英語や多言語の汎用的なテキスト埋め込みモデルの開発が盛んに行われている．しかし，日本語を対象としたモデル開発の取り組みは限定的であり，その理由としてはデータセットの不足やモデル開発のための知見が少ないことが挙げられる．本稿では，日本語汎用テキスト埋め込みモデルRuriを開発し，その過程について述べる．具体的には，訓練データの不足を補うための大規模言語モデルによる合成データセット構築，対照事前学習によるベースモデルの訓練，そして高品質データを用いた微調整について説明する．構築したテキスト埋め込みモデルRuriは，日本語テキスト埋め込みのベンチマークにおいて既存のモデルを上回る性能を達成した．
Fields of Study & Subjects
Natural Language Processing Techniques
Topic Modeling
Publication details
- Journal / source
- Journal of Natural Language Processing
- Volume
- 33
- Issue
- 2
- Pages
- 591–629
- Publication date
- 1 January 2026
- Language
- EN