技能与策略共进化：SPyCE让多模态智能体学会复用工具模式

背景

多模态智能体（Multimodal Agents）能够以图像为媒介进行迭代推理，在执行复杂任务时反复操作视觉证据、调用多种工具，其决策过程往往涉及很长的步骤序列。这类智能体的核心挑战在于如何高效地从经验中学习可重用的工具使用模式，从而在新任务上快速泛化。

当前主流方法分为两类：一是基于强化学习（RL）的方法，它将完整的交互轨迹压缩为标量奖励信号，迫使策略模型在每个新任务上从头发现工具调用的规律，无法利用跨任务的共同模式；二是基于记忆的方法，它保留过去经验（如轨迹片段），但在测试时仅依赖检索机制，而不更新策略参数，因此策略本身并未将经验中蕴含的可重用模式吸收到内部知识中。两种路径都存在根本局限：要么信息极度稀疏（标量奖励），要么策略与经验静态割裂（检索但不更新）。

核心内容

SPyCE（Skill-Policy Co-evolution，技能-策略共同进化）提出一种全新的框架，核心洞察在于：多模态推理轨迹应该被蒸馏为可重用的技能，这些技能在训练过程中与策略共同进化，而不是被简单地作为奖励消耗或从静态存储中检索。SPyCE 构建了一个层次化的技能库，将轨迹抽象为两个层次：

• 执行技能（Execution Skills）：捕获局部、具体的视觉操作模式，例如“点击某类图标”“拖拽滑块到指定位置”，对应低层动作序列。
• 工作流技能（Workflow Skills）：编码高层先验知识，描述如何编排多个工具调用完成子目标，例如“先搜索图像，再提取文字，然后比较结果”，对应子任务级的逻辑顺序。

在训练阶段，策略模型在生成 rollout 时，会首先根据当前状态从技能库中检索最相关的技能，并将其作为条件输入，指导后续动作生成。这相当于策略拥有了一个可重用的“工具箱”，无需每次都从头探索。与此同时，技能库本身也处于持续进化中：策略产出的高质量 rollout（即那些能够成功完成任务或有价值的轨迹片段）会被反馈给技能库，通过蒸馏机制提炼为新的技能，或更新已有技能。这样就形成了一个闭环：更优的策略产出更好的技能，更好的技能又为策略提供更强的先验，从而加速新任务的训练。整个过程在强化学习过程中同步进行，技能库是动态更新的，而非固定不变。

实验在八个不同难度的多模态推理基准上进行了评估，涵盖视觉问答、工具操作、多步推理等场景。结果显示，SPyCE 在所有基准上均一致优于基于 RL 的基线（如 PPO、A2C）和基于记忆的基线（如 Memory-augmented Transformer、Retrieval-Augmented Models）。进一步的消融分析表明，层次化技能设计（执行技能+工作流技能）和共同进化机制（技能库与策略交互更新）两者缺一不可：移除任一部分都会导致性能显著下降。

关键要点

• SPyCE 的核心创新是将轨迹蒸馏为可重用的技能，而非仅用奖励信号或静态记忆。
• 技能库采用层次化结构：执行技能（局部操作）和工作流技能（高层编排），实现对工具使用模式的系统抽象。
• 训练过程中策略与技能库形成闭环共同进化：策略利用检索到的技能指导 rollout，技能库则从策略产生的有价值 rollout 中吸收新知识。
• 该方法在八个多模态推理基准上全面超越 RL 方法和记忆方法，验证了联合技能-策略优化的有效性。
• 消融实验证明层次化设计和共同进化机制是框架性能的关键支撑，缺一不可。
• 该工作为构建能力更强的多模态智能体提供了新范式，即从“一次性学习”转向“持续演化”的技能策略共同优化。

意义与影响

SPyCE 颠覆了传统强化学习在多模态智能体中的应用范式：它不再将轨迹视为一次性消耗品，而是将其精炼为可积累、可泛化的结构化知识（技能）。这种技能-策略共同进化的闭环，使得智能体能够随着任务经验的积累持续自我提升，而不会受限于初始奖励设计的稀疏性或记忆检索的被动性。

从更广阔的视角看，SPyCE 指向了一个“学习如何学习”的元学习方向：智能体不仅学习执行任务，还同时学习如何从自身经验中提炼任务结构（技能），并利用这些结构加速后续学习。这一思路对于需要长时推理、复杂工具调用和多模态交互的下一代 AI 系统（如自动化科研助手、交互式设计工具、多模态对话代理）具有重要启示。此外，层次化技能的设计也提供了可解释性——分析人员可以查看工作流技能以理解高层规划逻辑，或检查执行技能以定位具体操作问题。

该工作表明，将策略与技能库视为共同进化的整体，而非分离的组件，是提升多模态智能体在持续学习环境中的通用性与效率的有效途径，有望推动该领域从“手工设计奖励函数”或“堆砌记忆体”向“自动化技能萃取与协同进化”演进。