无数字的算术：大语言模型如何“做”数学

背景

在探讨大语言模型（LLM）与外部工具（如 Python 代码解释器）结合的能力时，一个常见的假设是：模型只是简单地从提示词（Prompt）文本中提取数字和运算符，然后将其发送给外部工具执行。然而，这种“路由”机制是否真正利用了模型内部的认知状态，还是仅仅充当了文本解析器，一直存在争议。

近期来自 Hacker News 社区讨论的一项研究（基于 Rune 等人的工作）深入探讨了这一核心问题。该研究不再关注“能否将算术任务路由到 Python”，而是聚焦于“路由决策的依据究竟来自提示文本，还是来自模型内部状态”。研究重点验证了在冻结权重（即未经过针对此评估任务微调）的 Llama 模型中，激活值（Activations）是否能在无需解析器的情况下，独立提供计算器所需的参数。

核心内容

这项研究构建了一个严格的基准测试，旨在验证 LLM 内部激活信号是否能可靠地驱动算术计算，同时抵抗对抗性干扰。

1. 实验设置与基准测试

研究使用了两个主要的数据集：

• 通用算术/对抗性基准：涵盖四种运算：乘法、带余除法、最大公约数（GCD）和最小公倍数（LCM）。
• DeepMind 数学数据集：由 Saxton 等人引入，包含生成的学校风格数学题。研究者使用该数据集的插值分割（interpolation split），将其作为比手写模板更外部的来源，并过滤出符合当前路由支持形式的样本（两个整数操作数、已识别的运算、操作数在范围内、答案格式可验证）。

2. “通过”的双重标准

在通用基准测试中，“通过”意味着模型必须同时满足两个看似矛盾的要求：

• 在真实算术提示中激活：当遇到真正的数学问题时，路由门控（Gate）必须决定允许计算器运行，且操作数和操作数必须源自模型激活值，而非仅从文本中复制。
• 在对抗性提示中保持沉默：当遇到故意设计的“硬负样本”（Hard Negatives）时，即使文本中包含看似算术的内容，模型也必须抑制路由行为，不调用计算器。

3. 实验结果

• 通用基准测试表现： 在 11,736 个锁定示例和 1,536 个目标测试中，该激活值驱动的路由机制实现了精确答案的大幅提升，且在用于审计的硬负样本套件中实现了 0 次误触发。

  • 带余除法：精确率 0.992，相比冻结模型平均提升 +0.810。
  • GCD：精确率 1.000，相比冻结模型平均提升 +0.502。
  • LCM：精确率 0.980，相比冻结模型平均提升 +0.968。
  • 乘法：由于源数据过滤后未产生足够多的统计显著性样本，未被纳入最终宣称结果。

• DeepMind 数据集表现： 在 3,822 个锁定示例和 1,233 个目标测试中，激活值驱动的路由机制计算出的精确答案数量远超冻结模型独立生成的结果。这表明该路由机制不仅保留了模型已知的答案，还纠正了大量未被辅助模型遗漏的案例。

4. 关键区分：何时该“点火”，何时该“沉默”

研究通过具体案例展示了模型如何区分真正的数学请求和包含数字的自然语言文本：

应该触发路由（Should fire）：

• “计算 5924 和 1024 的最大公约数。”
• “7696 除以 5130 的余数是多少？”
• “4740 和 1152 的最小公倍数是多少？”

不应触发路由（Should not fire）：

• “她在白板上写了 'gcd(48, 18) = 6'，然后转而讨论 200 和 300 的预算。”（虽然包含数学符号和数字，但语境是叙事）
• “记者在她的笔记中输入了 '144 / 12'，但故事是关于一场篮球比赛的。”（数字是引用内容，非计算请求）
• “图表将 6, 12, 18, 24 显示为因子标签，但文章讨论的是音乐记谱法。”（数字是标签，非算术运算）

关键要点

• 内部状态优于文本解析：研究证明，在冻结权重的 Llama 模型中，激活值（Activations）可以作为计算器参数的可靠来源，无需依赖外部解析器从提示文本中提取数据。
• 鲁棒性极强：该机制在对抗性测试中表现完美（0 误触发），表明模型能够理解语境，区分“关于数字的文本”和“需要计算数字的指令”。
• 显著提升准确率：对于 GCD、LCM 和带余除法，激活值驱动的路由机制大幅提高了精确答案的比例，修正了基础模型的大量错误。
• 无需微调即可生效：这一能力在未经过特定算术任务微调的冻结模型中即可观察到，说明这是模型预训练阶段习得的一种潜在能力。
• 覆盖范围有限但精准：目前主要支持 GCD、LCM 和带余除法，乘法因数据过滤原因未获统计显著性支持，但整体证明了“无数字算术”的可行性。

意义与影响

这项研究对大语言模型的工具使用（Tool Use）和可解释性领域具有深远意义：

1. 挑战“文本路由”假设：传统观点认为 LLM 调用工具只是简单的文本提取过程。本研究证实，模型可以利用内部激活状态来理解任务意图，这意味着 LLM 具备更深层的语义理解能力，而不仅仅是模式匹配。
2. 增强可靠性与安全性：通过证明模型能够拒绝非计算性的数字文本（即“硬负样本”），该机制减少了工具调用的误用风险。这对于构建安全、可靠的 AI 助手至关重要，防止模型在无关语境下错误执行代码。
3. 激活值作为接口：研究展示了激活值可以直接作为外部工具的输入接口。这为未来的 AI 架构设计提供了新思路：或许我们可以更直接地利用模型内部状态来驱动决策，而不是完全依赖输出文本。
4. 基础能力的涌现：在冻结模型中发现这种能力表明，算术推理和工具使用的潜力可能已经嵌入在预训练数据中，无需额外的监督微调即可被激活和利用。

总之，这项研究不仅展示了 LLM 在算术任务上的潜力，更揭示了其内部状态在驱动外部工具时的精确性和语境感知能力，为构建更智能、更可靠的 AI 系统奠定了理论基础。