B站发布Index-1.9B系列开源小型语言模型

背景

大型语言模型（LLM）在过去几年取得了飞速发展，但模型规模日益庞大带来了高昂的训练和推理成本。小语言模型（SLM）凭借更低的资源需求和更快的部署速度，成为学术界与工业界关注的热点。Bilibili（哔哩哔哩）作为视频社区平台，在内容理解、智能助手等场景中需要高效且可控的语言模型。在此背景下，Bilibili 发布了 Index-1.9B 系列开源小语言模型，旨在探索参数量在 20 亿以下级别的模型在性能、训练策略与个性化定制方面的潜力。该系列的技术报告于 2026 年 7 月 10 日提交至 arXiv（cs.CL），并公开了所有模型与评估代码。

核心内容

Index-1.9B 系列包含四个模型：

• Index-1.9B-Base：基础模型，拥有 19 亿非嵌入参数（non-embedding parameters），在 2.8 万亿 token（以中文和英文为主）上预训练。采用 Warmup-Stable-Decay 学习率调度策略，在衰减阶段大幅提高精筛数据的浓度；同时使用 Norm-Head 输出层，使训练在大学习率下保持稳定。
• Index-1.9B-Pure：控制变体，使用与 Base 完全相同的训练配方，但严格过滤了语料中所有类指令（instruction-like）数据，用于研究预训练阶段引入指令数据的影响。
• Index-1.9B-Chat：基于 Base 模型经过监督微调（SFT）和直接偏好优化（DPO）对齐得到，适合对话场景。
• Index-1.9B-Character：在 Chat 模型基础上，结合检索增强生成（RAG）实现少样本角色扮演定制，支持用户自定义角色行为。

在考试、推理、数学和代码等标准基准测试集上，Index-1.9B-Base 的平均得分达到 64.92，与数倍于其规模的开放模型表现相当甚至更优。报告中还进行了多项受控实验，包括模型深度、学习率大小与调度、学习率衰减与数据质量的交互，以及预训练阶段包含指令数据的影响。此外，作者发现一个尚未完全解释的现象：在恒学习率阶段的中途，基准性能出现了一次突发的显著提升。

所有模型及评估代码已在指定网址公开。

关键要点

• 模型系列：Index-1.9B 包含 Base、Pure、Chat、Character 四种变体，覆盖基础预训练、指令过滤对齐、对话与角色扮演场景。
• 预训练数据：2.8 万亿 token，以中英文为主，采用 Warmup-Stable-Decay 学习率调度，衰减阶段密集使用精选数据。
• 技术创新：Norm-Head 输出层用于稳定大学习率训练；Character 模型通过 RAG 实现少样本角色定制。
• 性能表现：Base 模型在综合基准上平均 64.92 分，与参数量数倍于自己的开源模型（如 7B、13B 级别）竞争有力。
• 控制实验：系统探究了模型深度、学习率调度、数据质量与衰减阶段的交互、预训练包含指令数据的影响。
• 未解现象：恒学习率阶段中期出现基准性能的意外飙升，原因尚不明确。
• 开源释放：所有模型权重与评估代码完全公开。

意义与影响

Index-1.9B 系列展示了在 2B 以下参数规模的语言模型中，通过精心设计的训练策略仍可达到与更大模型相匹敌的效果。这对资源受限的团队和工业落地场景具有重要意义：

• 降低门槛：小模型可在单 GPU 甚至 CPU 上推理，显著降低部署成本。Bilibili 将模型开源，推动了社区在轻量级 LLM 上的研究与应用。
• 训练策略可参考：Warmup-Stable-Decay 与 Norm-Head 的组合提供了一套实用的训练范式，尤其是衰减阶段提升数据浓度的方法具有启发性。
• 角色定制方向：Index-1.9B-Character 结合 RAG 实现少样本角色扮演，为个性化 AI 助手和虚拟角色应用提供了可行的技术路径，可能成为社区在 SLM 上构建垂直应用的范例。
• 实验启示：恒学习率阶段性能突增的未解现象值得进一步研究，可能隐含训练动力学或数据分布的非平凡特性。同时，Pure 变体对指令数据影响的控制实验，为预训练数据构成提供了实证参考。
• 社区贡献：公开模型与代码有助于复现、改进和拓展，促进小语言模型领域的快速发展。