内省微调（IFT）：让1B参数小模型学会自我感知扰动
速览
研究人员提出内省微调（IFT）方法，训练小语言模型检测并报告自身内部激活的扰动。传统二元检测范式在小模型中存在应答偏差，为此设计了无混淆的句子定位和强度比较评估范式。IFT通过模型自身扰动前向传播构造句子定位样本进行监督微调，将Llama-1B准确率从9.6%提升至60.6%，并零样本泛化至强度比较任务（30.2%→52.2%）。该方法对3B、8B模型也有提升，且几乎不损害标准能力基准，表明内省能力可通过训练突破规模限制，有助于AI透明性与对齐。
AI 深度解读
背景
大型语言模型（LLM）的内部运作机制长期被视为“黑箱”。近年来，研究者尝试通过激活操控（activation steering）——在模型的残差流中注入特定概念向量——来干预生成过程，从而控制模型行为或植入“思想”。然而，模型能否主动察觉并报告自身内部激活发生的扰动？这是一个关于模型自我监控能力（introspection）的核心问题。此前的工作采用二元检测范式：向模型提问“你是否检测到了注入的思想？”，模型回答“是”或“否”。该范式在小模型中存在严重混淆——注入向量本身会使模型偏向肯定回答，无论问题内容如何。因此，需要无混淆的评估方法来测量小模型的真实内省能力。
核心内容
本文由 arXiv 2026 年 5 月 8 日提交，标题为《Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect》。研究团队首先提出两种无混淆评估范式：
- 句子定位（Sentence Localization）：给定 N 个句子构成的序列，模型需要指出其中哪一个句子被注入了概念向量。随机猜测正确率为 1/N。
- 强度比较（Strength Comparison）：给定两个句子，模型需要判断哪一个句子被注入了更强的概念向量。随机猜测正确率为 50%。
实验选取了 Llama-3.2 和 Gemma-4 两个系列的六个模型（参数规模从 1B 到 8B），评估其内省能力。结果发现：
- 参数在 2B 及以上的模型在内省任务上显著高于随机水平，且内省能力随模型规模增大而增强。
- 但 Llama-1B（1B 参数）的表现低于或等于随机水平（句子定位准确率仅 9.6%），表明小模型缺乏原生内省能力。
为此，作者提出内省微调（Introspection Fine-Tuning, IFT）：一种监督式微调方法，训练数据由模型自身扰动后的前向传播构造出的句子定位样本组成。在 Llama-1B 上，IFT 将句子定位准确率从 9.6% 提升至 60.6%（提升 6 倍），且该能力零样本泛化到未见过的强度比较任务上（准确率从 30.2% 提升至 52.2%）。对于 3B 和 8B 模型，IFT 同样能进一步提升内省性能，同时几乎不损害标准能力基准（如通用语言理解、问答等任务）的表现。
研究者得出结论：内省能力并非仅由模型规模决定——它是可以被直接训练的；通过训练，小模型可以解锁潜在的自我监控能力，这对 AI 透明度与对齐具有重要启示。
代码已开源（见论文链接）。
关键要点
- 问题：小语言模型能否自主检测并报告自身内部激活的扰动？传统二元检测范式在小模型中因注入向量导致回答偏向，产生混淆。
- 新评估范式：句子定位（1/N 随机概率）和强度比较（50% 随机概率），消除了混淆，可可靠测量内省能力。
- 发现：2B 及以上模型内省能力显著优于随机，能力随规模增长；但 Llama-1B 低于随机水平（9.6% vs 25%）。
- IFT 方法：基于模型自身扰动前向传播构造句子定位训练样本，进行监督微调。
- 核心结果：
- Llama-1B 句子定位准确率从 9.6% 提升至 60.6%（6× 改善）。
- 零样本泛化到强度比较任务：30.2% → 52.2%（接近 50% 随机上限）。
- 3B/8B 模型同样受益，且对标准能力基准影响极小。
- 意义：内省能力不是规模决定论，而是可训练的；训练小模型内省能力为 AI 透明度和对齐提供了新途径。
意义与影响
这项研究挑战了“只有大模型才具备内省能力”的直觉，证明即使参数低至 1B 的模型，通过精心设计的微调也能学会监测自身内部状态的扰动。IFT 方法不依赖外部监督信号（训练数据由模型自身产生），具有高度可扩展性。它开启了一条新道路：让模型具备自我监控能力（self-monitoring），例如主动报告异常激活、察觉试图操控其行为的攻击（如越狱提示或概念注入），从而增强 AI 系统的可解释性与可控性。对于 AI 对齐问题，训练模型内省可能是构建更可靠、更透明的 AI 助手的实用步骤。此外，论文提出的无混淆评估范式本身也是方法论贡献，将有助于未来内省研究的标准化。