MILES框架：可学习选择模块化记忆助力大模型推理自我改进

背景

大型语言模型（LLM）在测试时通过额外计算来提升推理能力，已成为提升性能的主流思路。然而，现有工作大多将每个推理问题孤立处理，没有利用问题之间顺序到达时产生的可复用经验。当模型连续面对多个相似或相关的问题时，如果能将之前解题过程中积累的“经验”（如有效的子步骤、推理模式）存储并应用于新问题，理论上可以进一步提升效率与正确率。

目前基于记忆的方法存在两类局限：一类存储完整的解题模板，但面对新颖问题时泛化能力差；另一类使用启发式规则在步骤级别选择记忆片段，但这些规则没有针对最终答案的正确性进行优化。更根本的问题在于，学习一个选择策略通常需要大规模标注数据和固定的动作空间，而在测试时场景下，记忆会动态扩张，且只有有限的监督信号（例如最终答案是否正确），这使传统方法难以适用。

核心内容

为克服上述挑战，本文提出 MILES（Modular Instruction Memory with LEarnable Selection for self-improving LLM reasoning）——一种模块化指令记忆与可学习选择的框架，用于实现 LLM 的自我改进推理。MILES 在现实测试时约束下，动态扩展逐步记忆，并应用针对正确性优化的记忆组合。

MILES 的核心是维护模块化的记忆单元，每个单元由非对称的“子目标嵌入”（sub-goal embedding）和“子指令”（sub-instruction）组成。每个单元关联一个可学习的选择头（learnable selection head）。这种结构支持一种“由粗到精”的检索机制：

• 粗粒度阶段：负责记忆扩展，并从置信样本中收集用于训练选择头的监督信号。系统会根据当前推理任务检索粗略相关的记忆候选，同时决定何时扩展新记忆。
• 细粒度阶段：对于低置信样本，利用已训练好的选择头对粗粒度候选进行重排序，并选择最优的子指令来引导当前推理步骤。

通过这种机制，MILES 能够在不依赖大规模预训练数据的前提下，在测试过程中自适应地构建和利用记忆。实验表明，MILES 在多个推理基准上一致地匹配或超越此前方法，同时在准确率与计算效率之间取得了更优折中。大量实验验证了其有效性、鲁棒性以及跨任务迁移能力。

关键要点

• MILES 将记忆组织为模块化单元，每个单元包含一个子目标嵌入和一个子指令，两者构成非对称对（嵌入用于检索，指令用于推理引导）。
• 每个记忆单元关联一个可学习的选择头，用于在细粒度阶段对候选进行重新排序，该选择头直接针对最终答案正确性进行优化。
• 采用由粗到精的两阶段检索：粗粒度阶段依赖简单相似度匹配，同时负责记忆的动态扩展和选择头的弱监督收集；细粒度阶段则利用选择头进行更精确的筛选。
• 训练选择头不需要大规模标注数据，仅依赖测试过程中产生的少量置信样本（即模型自身能正确解答的问题）作为监督信号。
• MILES 支持记忆随问题序列的增量式扩展，无需固定动作空间，适合测试时场景。
• 实验结果显示 MILES 在准确率-效率权衡上优于现有记忆增强方法，且具有良好的鲁棒性和跨领域迁移能力。

意义与影响

MILES 提出了一种在测试时利用累积经验提升 LLM 推理能力的新范式。与之前方法要么完全依赖启发式要么需要昂贵离线训练不同，MILES 通过引入可学习的选择头和模块化记忆，在极小监督下实现了在线自适应。这不仅使模型能够从自身的成功推理中学习，还能在遇到不确定问题时主动检索并组合之前有效的推理步骤，从而提升整体性能。

从更广泛的角度看，MILES 为“自我改进”的 LLM 提供了一条实用路径——模型可以在连续推理过程中持续积累和优化“解题策略”，而无需重新训练或依赖外部数据库。这一思路对于部署在动态环境中的 LLM 应用（如对话助手、代码生成、数学解题）具有重要意义。此外，MILES 的模块化和可迁移特性意味着其记忆结构可以跨任务复用，有望推动更通用的持续学习框架的发展。