DenseSteer：引导小语言模型走向密集数学推理

背景

大型语言模型（LLMs）在链式思维（Chain-of-Thought, CoT）推理方面展现出了强大的能力，能够通过生成中间推理步骤来解决复杂问题。然而，参数量较小的模型（通常指参数量 $\le$ 3B 的模型）在涉及多步推理的任务中表现显著落后于大型模型。这种性能差距主要源于小模型在长程依赖捕捉、逻辑一致性以及信息处理能力上的局限。

传统的提升小模型推理能力的方法通常依赖于增加训练数据量、微调（Fine-tuning）或增加模型参数量。然而，这些方法往往伴随着高昂的计算成本和训练资源消耗。因此，寻找一种无需重新训练、仅在推理阶段即可生效的轻量化增强方案，成为当前小模型优化领域的重要研究方向。

核心内容

本文基于对 Qwen-2.5 模型家族在数学推理基准测试上的实证分析，提出了一种名为 DenseSteer 的推理时引导框架。该框架旨在通过调节内部表示，引导小模型采用“密集推理”模式，从而在不增加训练成本的前提下提升其数学问题解决能力。

1. 密集推理（Dense Reasoning）的发现

研究人员通过对 Qwen-2.5 系列模型的深入分析，发现了一个关键现象：推理能力更强的模型往往具备“密集推理”的特征。具体而言，更熟练的推理过程表现为：

• 推理步骤更少：不需要冗长的中间步骤。
• 单步信息密度更高：在每一步中蕴含更多的逻辑信息和计算细节。

这种将高信息密度与较少步骤相结合的特性被定义为“密集推理”。相比之下，小模型倾向于生成冗长但信息稀疏的推理路径，导致噪声增加且逻辑容易断裂。

2. DenseSteer 框架设计

基于上述观察，作者提出了 DenseSteer，这是一个**免训练（training-free）**的推理时引导框架。其核心机制如下：

• 内部表示调制：DenseSteer 不修改模型权重，而是在推理过程中动态调节模型的内部激活状态或表示空间。
• 向密集模式引导：通过特定的引导策略，促使模型在生成文本时，其内部表征更倾向于符合“高信息密度”的模式，从而抑制冗余步骤的生成，强化关键逻辑步骤的表达。

3. 实验结果与验证

在多个数学推理基准测试中，DenseSteer 展示了显著的效果：

• 准确率提升：该方法在多个小模型上带来了 consistent（一致且稳定）的准确率提升。
• 无额外负对数似然代价：重要的是，这种性能提升并没有增加 token 级别的负对数似然（Negative Log-Likelihood, NLL）。这意味着模型在生成更密集、更有效的推理路径时，并没有以牺牲整体生成概率或流畅度为代价。
• 结构性优势：实验结果证实，密集推理是一种有效的数学问题解决结构，尤其适用于资源受限的小模型。

关键要点

• 问题痛点：参数量 $\le$ 3B 的小语言模型在多步推理任务中表现远逊于大型模型，主要受限于其生成冗长且信息稀疏的推理链。
• 核心洞察：通过实证分析 Qwen-2.5 模型发现，优秀的推理能力与“步骤少、单步信息密度高”的密集推理模式强相关。
• 方法创新：提出了 DenseSteer，一种无需训练（training-free）的推理时引导框架，通过调制内部表示来引导小模型向密集推理模式转变。
• 性能收益：该方法在不增加 token 级负对数似然（NLL）的情况下，显著提升了小模型的数学推理准确率。
• 技术价值：证明了通过调整推理结构（而非仅靠增加数据或参数）可以有效提升小模型的逻辑能力，为轻量化模型的推理优化提供了新的思路。

意义与影响

DenseSteer 的提出对于小语言模型的落地应用具有重要的理论与实践意义：

1. 降低部署门槛：对于边缘设备或资源受限场景，使用小模型是必然选择。DenseSteer 提供了一种无需重新训练即可提升小模型能力的低成本方案，使得小模型能够胜任更复杂的逻辑任务，扩大了其适用范围。
2. 优化推理效率：通过引导模型生成更密集、更精简的推理步骤，不仅提升了准确率，还可能减少推理过程中的 token 生成数量，从而间接提升推理速度和降低计算开销。
3. 揭示推理本质：该研究从实证角度揭示了“信息密度”在逻辑推理中的关键作用，挑战了“越多步骤越准确”的传统直觉，为后续研究如何量化和控制推理过程中的信息流提供了新的视角。
4. 通用性潜力：虽然本文主要聚焦于数学推理，但“密集推理”的概念可能适用于其他需要高逻辑密度的领域（如代码生成、法律分析等），为通用小模型能力的增强提供了可借鉴的框架。

总之，DenseSteer 通过挖掘小模型内部的推理结构特性，以极低的成本实现了推理性能的跃升，是连接大型模型智能与小模型效率之间的一座重要桥梁。