从酝酿到解决：追踪大语言模型中代码推理的内部生命周期

背景

当前，评估大语言模型（LLMs）在代码推理任务上的表现，主要依赖于标准的准确率指标。然而，这些表层指标存在明显的局限性：它们无法解释为什么模型能够处理变量追踪，却在语义等价的循环结构上失败。这种“黑盒”状态使得研究人员难以区分模型是真正理解了逻辑，还是仅仅通过统计规律进行了猜测，更难以识别那些被平均准确率掩盖的根本性失败模式。

为了解决这一问题，来自 arXiv 的研究团队提出了一种新的视角，旨在追踪代码推理在模型内部的完整生命周期。研究指出，模型并非在最后一层突然生成答案，而是经历了一个从“酝酿”（Brewing）到“解决”（Resolution）的过程。理解这一内部机制对于揭示模型能力的本质至关重要，因为相似的表面准确率可能对应着截然不同的内部故障模式。

核心内容

本研究深入剖析了大语言模型在处理代码推理任务时的内部动态过程，提出了一个包含四个关键阶段和四种最终结果的诊断框架。

1. 内部生命周期的两个阶段

研究将代码推理的内部过程划分为两个主要阶段：

• 酝酿阶段（Brewing）：模型在深层网络结构中开始“酝酿”答案。研究发现，答案在变得可自我解码（self-decodable）之前的许多层中，就已经以线性可恢复的形式存在。这意味着，正确的推理线索早在输出生成前很久就已经在模型内部形成。
• 解决阶段（Resolution）：随着网络层的加深，模型内部的状态发生分化，最终收敛为四种不同的结果：
  • Resolved（已解决）：模型成功推导出正确答案。
  • Overprocessed（过度处理）：模型虽然形成了某种结论，但可能因过度复杂化或噪声干扰导致偏离正确路径。
  • Misresolved（误解决）：模型得出了确定的但错误的结论。
  • Unresolved（未解决）：模型未能形成明确的结论。

2. 双重诊断框架

为了量化上述过程，研究团队引入了一个双重诊断框架：

• 逐层线性探测（Layer-wise Linear Probing）：用于检测答案在模型各层中的线性可恢复性，从而确定“酝酿”的起始点和强度。
• 去上下文解码（Context-Stripped Decoding, CSD）：用于剥离外部上下文干扰，单独评估模型内部状态向最终答案转化的能力，即“解决”能力。

3. 实验设置与发现

研究团队将上述框架应用于涵盖 Qwen、Llama 和 DeepSeek 架构的 16 个模型，并测试了六个代码推理任务族。主要发现包括：

• 普遍存在的失败模式：在所有任务族中，四种结果均占有显著比例。整体“已解决”率仅为 41.5%，多个具体任务的解决率甚至低于 30%。这表明即使是在看似简单的代码任务中，模型内部也存在大量的不确定性。
• 任务特定的瓶颈：通过控制结构、深度和操作符的变化，研究揭示了任务特定的失败瓶颈。例如，在“函数调用”任务中，随着调用深度从 1 增加到 3，“已解决”率从 61.1% 急剧下降至 2.5%。
• 酝酿的稳定性 vs. 解决的差异性：跨架构和规模的扫描显示，“酝酿”的脚手架（scaffold）非常稳定。所有 16 个模型的归一化酝酿持续时间均在 24%-42% 之间。然而，解决的成功率则随模型的能力、规模及训练数据显著变化。

这一对比表明，“酝酿”是测试的 Decoder-only Transformer 家族中一种稳定的经验规律，而“解决”的成功率则与模型的具体能力指标紧密相关。

关键要点

• 准确率指标的误导性：标准准确率无法区分模型是“理解”还是“猜测”，也无法捕捉语义等价但结构不同的任务中的性能差异。
• 答案的早期存在：正确答案在模型深层网络中早已以线性形式存在，比最终输出早很多层就被“酝酿”出来。
• 四种内部结局：代码推理的内部状态最终会分化为已解决、过度处理、误解决或未解决四种状态，且未解决和误解决的比例不容忽视。
• 酝酿的普适性：无论模型架构如何（Qwen, Llama, DeepSeek），其酝酿答案的时间窗口（归一化持续时间 24-42%）保持高度一致，暗示这是一种架构层面的共性。
• 解决能力的差异性：虽然酝酿过程相似，但将酝酿转化为正确解决的能力高度依赖于模型规模、架构设计和训练数据。
• 深度敏感性问题：在函数调用等任务中，嵌套深度对解决率有毁灭性影响（深度 1 到 3，解决率从 61.1% 跌至 2.5%），揭示了当前模型在处理深层逻辑依赖时的脆弱性。

意义与影响

这项研究对大语言模型的开发和评估具有深远意义：

1. 从“结果评估”转向“过程诊断”：传统的黑盒评估无法指导模型改进。通过引入内部生命周期追踪，研究人员可以精确定位模型是在“酝酿”阶段缺乏线索，还是在“解决”阶段缺乏转化能力。例如，如果发现某模型酝酿率高但解决率低，优化重点应放在解码机制或训练数据的多样性上，而非增加模型深度。
2. 揭示“虚假能力”：研究证明，高准确率可能掩盖了模型内部大量的“未解决”或“误解决”状态。这对于安全关键型应用（如自动代码生成、金融算法）尤为重要，因为模型可能在看似自信的输出中隐藏着逻辑断裂。
3. 架构设计的启示：鉴于“酝酿”过程的稳定性，未来的模型架构设计可能不需要在中间层推理机制上进行颠覆性改变，而应专注于增强从内部表示到最终输出的“解决”映射能力。
4. 基准测试的升级：现有的代码推理基准测试需要纳入更细粒度的诊断指标，如“酝酿深度”和“解决稳定性”，以全面衡量模型的真实推理能力，而不仅仅是最终答案的正确与否。

通过揭示代码推理的“从酝酿到解决”的生命周期，该研究为理解大语言模型的内部运作机制提供了新的显微镜，也为构建更可靠、更可解释的代码智能系统指明了方向。