前沿大模型填充标记中隐藏计算可被解码

背景

大型语言模型（LLM）的推理过程通常通过表面输出的 token（如思维链）来监控。然而，前沿模型可以在不产生任何可见推理步骤的情况下，仅利用无信息填充标记（如连续的点或计数序列）执行多步计算并给出正确答案。这种行为对基于输出的行为监控构成了极限挑战——表面 token 不携带任何关于底层推理的信息。但“在输出中隐藏”不等于“无法被我们检测”。本文探索了如何从模型的内部状态（而非仅输出）中恢复这些隐藏的计算过程，从而证明对模型完整计算轨迹的可监控性。

核心内容

这篇论文来自 arXiv cs.CL，提交于 2026 年 7 月 3 日。作者在四个任务族上对两个开放权重的前沿模型（DeepSeek V3 和 Kimi K2）进行了实验：

1. 事实检索：模型需要回答知识性问题，但要求在前缀中插入填充标记（如“...”，或计数序列“1 2 3 …”）之后再输出答案。
2. 并行数值组合：对多个数值进行并行运算（如求和、乘积），同样在问题和答案之间填充无意义 token。
3. 字符串操作：如反转、拼接等，填充区域用作计算空间。
4. 上下文计算：依赖上下文（如示例）进行推理，填充标记作为中间计算载体。

实验发现，模型在这些任务中确实在填充标记位置上进行了结构化、可读的计算。具体而言：

• 注意力路由：注意力机制将问题信息通过填充区域导向答案位置，填充 token 的注意力模式显示出清晰的“传递”关系。
• 对数透镜（logit-lens）读数：在早期层，检索到的事实信息就已出现在特定位置的残差流中；在后期层，这些信息逐渐组合、结晶成最终答案。
• KV 缓存移植（KV-cache transplants）：将某个示例在填充位置的 KV 缓存替换到另一个示例的对应位置，能够因果性地交换输出结果，证明填充位置确实承载了关键计算。

基于这些观察，作者提出了一种无监督的解码管道：仅以隐藏状态（残差流）作为输入，无需真实标签或训练，就能恢复中间计算值。该方法在两个模型和所有四个任务上，使用最佳 LLM 评判，准确率达到 80-95%。核心步骤包括：

• 从填充 token 位置的残差流中提取向量表示；
• 通过降维和聚类识别出不同的中间状态；
• 利用模型自身的词汇表（或任务特定的映射）将这些状态解码为可读的中间值（如数字、字符串片段）。

该管道的成功表明：尽管模型表面上只输出无意义的填充序列，但内部的残差流已经显式地编码了推理步骤。这些隐藏计算能够被直接读取，从而战胜了仅依赖表面 token 的行为 CoT 监控。

关键要点

• 前沿 LLM（DeepSeek V3、Kimi K2）可以在无信息填充标记（如点、计数序列）上进行多步推理，输出正确答案而不显示任何可见的思维链。
• 这种隐藏计算在注意力模式、logit-lens 读数以及因果 KV 缓存移植实验中均表现出结构化、可读的特性。
• 填充位置承载了从问题到答案的中间计算，注意力将信息路由通过填充区域，且早期层即出现检索事实，后期层完成组合。
• 作者提出了一个无监督解码管道，仅利用隐藏状态就能恢复中间计算值，在四个任务上达到 80-95% 的准确率，无需训练或标签。
• 该结果表明，“隐藏计算”不是不可监控的——模型的完整计算轨迹（残差流）比表面 token 携带更丰富的信息，可监控性是模型计算轨迹的属性，而非仅输出 token 的属性。

意义与影响

这项工作对 LLM 的可解释性与安全性具有重要启示：

1. 突破行为监控的局限：当前许多对齐和安全措施依赖于监控模型的输出 token（如思维链）。本文证明，即使输出被精心构造为无信息内容，模型内部的推理仍然可以被读出，从而为更可靠的监控提供了新途径。

2. 无监督方法的实用性：无需大量标注数据或训练，仅通过无监督解码即可恢复中间值，降低了内部状态解读的门槛，便于在更多模型和任务上推广。

3. 对模型架构设计的启示：填充标记之所以能承载计算，可能源于注意力机制和残差流的特性。未来模型设计若希望隐藏内部计算，可能需要更根本的架构改变（如改变残差流的可见性）。

4. 安全评估的新维度：对于可能试图通过填充 token 方式逃避监控的恶意用例，本文的方法提供了一种反向检测手段。同时也提醒，仅仅依赖表面输出进行安全评估可能不足够。

5. 通用性与局限性：四个任务涵盖了不同推理类型，但未来还需要在更复杂、更接近真实应用的场景（如多步数学、代码生成）中验证。此外，该方法适用于开放权重模型，对闭源模型的适用性依赖于对中间状态的访问权限。