亚1B设备端蒸馏：教师模型不同，学生能力各异

背景

大规模结构化信息提取任务中，对每一条数据调用大模型会产生高昂的延迟与成本。将这类任务蒸馏到能在设备端运行的小模型上，成为一个有吸引力的方向：以极小的时间和计算开销换取接近大模型的输出质量。然而，蒸馏究竟能在哪些子任务上带来收益、不同教师模型（如推理模型、非推理模型、托管流水线）分别传递何种能力，目前尚缺乏细粒度的量化评估。本研究以新闻文章的结构化富集为例——每篇文章需生成一个 JSON 对象，包含一个短摘要和五个分类标签——系统比较了不同教师蒸馏策略的效果，并探索了按字段路由的可行性。

核心内容

论文将一项高吞吐的结构化提取任务蒸馏到参数小于 1B 的设备端模型。具体任务定义如下：每篇新闻文章被映射为一个 JSON 对象，其中包含一个短摘要（summary）和五个分类标签（categorical labels）。教师模型选用 8B 参数的推理模型 deepseek-r1:8b，学生模型为 0.6B 参数的 Qwen3-0.6B，采用 QLoRA 微调，并在三个不同随机种子下重复实验。

为了剖析不同教师能力来源，实验设置了两个教师对照：

• 同尺寸非推理教师：与教师模型参数规模相同（8B）但不具备推理链能力；
• 大规模托管流水线：一种更大、管理更完善的流水线方案，用于对比能力边界。

评估采用盲审、无参考评分，由三位独立评审员组成的评议小组，将每个输出与原文比对打分。评分比较的对象包括两个非蒸馏基线：

• Few-shot prompting（小样本提示）
• Constrained decoding（约束解码）

性能结果：

• 学生模型处理每篇文章平均耗时约 0.8 秒，而教师模型需 39 秒，速度提升近 50 倍。
• 在摘要质量上，学生模型恢复了从基座模型（未微调的 Qwen3-0.6B）到教师模型之间差距的 58%。
• 与主要基线 constrained decoding 相比，学生模型得分高出 +16.8 点；与 secondary 基线 few-shot prompting 相比，高出 +4.9 点。

能力分裂发现：

• 使用同尺寸非推理教师训练的学生，其摘要质量并不优于未调优的基座模型，说明摘要质量的提升来源于教师的推理性质而非模型规模。
• 不同教师传授的能力出现分岔：
  • 推理教师（deepseek-r1:8b）传递了更强的写作质量（writing quality）；
  • 托管流水线传递了更高的标签多样性（label diversity）；
  • 同尺寸指令教师（instruction-tuned 但非推理）训练出的学生在短小、信息稀疏的文章（测试集 93 篇文章中占 22 篇）上表现出更好的忠实性（faithfulness）：该类学生生成 74 篇忠实输出，而推理谱系的学生仅有 55 篇，后者更容易编造内容。该差异在排序上一致，但因子组规模较小，未达到统计显著性，论文将其报告为一种趋势而非定论。

最终论文的产出是一张按字段路由的地图（per-field routing map）：针对不同字段（如摘要 vs. 标签），可根据任务特性选择最匹配的蒸馏教师路线，以实现设备端富集任务的最佳质量与效率平衡。

关键要点

• 蒸馏效率极高：0.6B 学生模型以 0.8 秒/篇的速度运行，而 8B 教师需 39 秒/篇，延迟降低约 98%。
• 摘要能力成功转移：学生恢复了教师与基座之间差距的 58%，显著优于 constrained decoding 和 few-shot prompting 两个基线。
• 推理性质是关键：同尺寸的非推理教师未能带来摘要提升，说明 reasoning 能力（而非参数规模）是蒸馏收益的主要来源。
• 能力因教师而异：推理教师擅长写作质量，托管流水线擅长标签多样性，指令教师（非推理）更擅长处理短小信息源时的忠实性。
• 忠实性存在 trade-off：推理教师的学生在短小文章上更容易编造（55 篇忠实 vs. 74 篇），尽管这一倾向在统计上不显著，但指向未来需要关注数据子集的差异。
• 最终产出是路由策略：没有单一教师能在所有字段上胜出，因此实用的方案是为每个字段（如摘要、标签）选择最合适的蒸馏路线，形成一张路由地图。

意义与影响

该研究为设备端大模型蒸馏提供了实证指导，核心价值在于揭示了不同教师传递不同子能力这一现象。传统蒸馏评估通常只看整体指标（如 BLEU、ROUGE），而本文通过分字段评测，展示了推理教师、非推理教师和托管流水线在写作质量、标签多样性和忠实性上的差异。这意味着在实际部署时，开发者可以根据下游任务对每个字段的具体需求（例如对事实准确性要求高，或对行文流畅度要求高），选择对应的教师进行蒸馏，甚至在同一应用中混合使用多条蒸馏路线。

此外，0.6B 模型在 0.8 秒内完成一篇新闻的结构化提取，为手机、IoT 设备等资源受限场景提供了可行的低延迟方案。论文同时提出了一个前瞻性问题：推理链可能带来创造性倾向，从而在信息稀疏的输入下更容易产生幻觉。这对于需要高忠实性的应用（如医疗、法律文本处理）是一个重要警示。未来研究可进一步探索如何在不牺牲推理能力的前提下提升忠实性，或设计针对小数据子集的自适应蒸馏策略。

整体而言，该工作推动了从“一种蒸馏模型通用所有字段”向“按字段感知的路由蒸馏”范式转变，为 on-device 结构化文本富集任务提供了实用的技术路线图和设计原则。