从零训练的7.74亿参数模型会说"我不知道":原生unknown输出与保持边界的知识日抛(中文版 v1.0)
Abstract
从零训练的 7.74 亿参数模型会说'我不知道':原生 unknown 输出与保持边界的知识日抛(英文版 v1.0 的中文同步版)。模型完全从零训练(无预训练初始化),语料为约 470 万 token 的程序化生成配对文本,unknown 作为一级输出类别习得:词根冲突对抗训练后,全新未见概念泛化 0.94(基线 0.65);双通道仲裁(条目级 AUC 0.98)对 25 探针零泄漏;知识日抛规程在单张消费级 GPU 上 14.5 分钟单轮增量通过三道发版门禁。据我们所知,这是首个亚十亿规模从零训练并以留出泛化评测原生 unknown 输出的已发表工作。
Fields of Study & Subjects
Big Data and Digital Economy
Natural Language Processing Techniques
Diverse Musicological Studies
Publication details
- Journal / source
- Zenodo (CERN European Organization for Nuclear Research)
- Publication date
- 27 August 2026
- Language
- ZH
- Document type
- Preprint