港中文提出SLIM实现大模型智能体技能动态生命周期管理

背景

大模型智能体（LLM Agent）的应用场景正从简单的单轮问答向复杂的连续决策任务演进。在网页搜索、工具调用、自动办公、软件操作及具身机器人等领域，智能体需要理解任务目标、选择合适工具、执行多步骤操作，并根据环境反馈动态调整行动。例如，家庭服务机器人需完成“把冷却后的物品放到指定位置”，这不仅涉及语义理解，更包含物体识别、状态判断、操作执行及结果确认等一系列复杂流程。

在此背景下，外部技能（External Skills）成为提升 LLM Agent 能力的重要来源，它们作为可复用的操作经验，有助于处理复杂流程、长尾任务及易错步骤。然而，技能管理面临两难困境：

1. 技能堆积：盲目增加技能可能导致检索错误、无关信息干扰及上下文噪声。
2. 零技能推理：若追求将所有技能内化或完全删除外部技能，可能丢失低频但关键的能力，导致复杂任务中失误率上升。

行业亟需解决的问题并非“是否需要技能”，而是“如何科学管理技能”。针对这一痛点，香港中文大学团队提出了 SLIM（Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning，动态技能生命周期管理），旨在通过动态管理外部技能的生命周期，优化智能体在复杂任务中的表现。

核心内容

SLIM 将外部技能视为一个具有生命周期的能力系统，而非固定的提示材料。其核心机制是在训练过程中持续评估每个技能的真实贡献，执行“保留、退休、扩展”的动态管理策略。

1. 动态技能生命周期管理循环

SLIM 的训练流程是一个包含技能检索、执行、审计与更新的闭环：

• 技能检索：将技能分为“通用技能”（适用于多种任务的策略）和“任务专属技能”（针对特定任务的操作方法）。每次任务仅从当前激活的技能集（Active Skill Set）中检索相关技能，避免全量注入 Prompt 带来的干扰。
• 策略执行与更新：Agent 携带检索到的技能执行任务，并利用 GRPO（Group Relative Policy Optimization）更新策略网络。
• 技能审计（Skill Audit）：训练一段时间后，系统对技能进行价值评估。核心方法是 Leave-One-Skill-Out（留一法验证），即临时禁用某个技能，对比禁用前后的验证表现：
  • 表现明显下降：该技能仍有价值，需保留。
  • 表现几乎不变：相关能力可能已被模型内化，或技能冗余，可考虑退休。
  • 表现变好：该技能产生干扰，应删除。
• 动态调整：根据审计结果执行三种操作：
  • Retain（保留）：适用于对任务表现有显著正向贡献的技能，尤其适合步骤复杂、易出错的任务流程。
  • Retire（退休）：适用于贡献长期低下、被模型内化、被其他技能覆盖或产生干扰的技能，旨在减少噪声和上下文负担。
  • Expand（扩展）：适用于当前技能库无法覆盖的持续失败场景。系统从失败案例中总结新技能，补足能力缺口，而非盲目增加。

2. 实验验证与对比

研究以 Qwen3-4B 为基础模型，在 ALFWorld（模拟家庭环境，侧重动作执行与状态变化）和 SearchQA（搜索问答，侧重信息检索与推理）两个任务集上进行验证，并与 Zero-Shot、Few-Shot、ReAct、Reflexion、Mem0、ExpeL、GRPO、EvolveR、SkillRL、Skill0 等多种基线方法进行对比。

• ALFWorld 表现：SLIM 成功率为 87.5，显著优于最强基线 SkillRL（75.0）。由于该任务步骤长、状态变化多，智能体需持续依赖外部技能辅助判断物体状态和选择动作，SLIM 通过筛选保留有效技能，提升了复杂流程的处理能力。
• SearchQA 表现：SLIM 无论是否携带技能，得分均为 41.0，略高于最强非 SLIM 方法 Skill0（39.3）。该任务更依赖搜索与推理策略，模型更容易将这些策略内化，因此对外部技能的依赖较弱。
• 技能演变分析：
  • SkillRL：技能持续累积，但过多技能带来检索噪声。
  • Skill0：技能持续减少至零，试图完全内化，但可能丢失低频关键能力。
  • SLIM：先增加技能，再筛选，最终保留少量（如 21 个）高贡献技能。消融实验证明，移除“退休”或“扩展”机制均会导致性能下降，且随机管理效果最差，证实了动态管理的必要性。

关键要点

• 动态优于静态：SLIM 不假设技能必须无限累积或最终全部消失，而是根据技能在训练过程中的边际贡献动态调整，实现了从“堆技能”到“管技能”的转变。
• 贡献度驱动决策：通过 Leave-One-Skill-Out 机制量化技能价值，区分“高频低效”、“低频关键”及“冗余干扰”技能，避免仅凭使用频率判断去留。
• 内外能力分工明确：
  • 模型参数（内化）：适合常见能力、重复出现的简单流程。
  • 外部技能（保留）：适合低频重要流程、复杂长流程及当前模型未掌握的能力。
  • 新增技能（扩展）：针对当前技能库覆盖不足的失败场景进行针对性补充。
• 任务差异性适配：
  • 对于 ALFWorld 等动作执行类任务，外部技能对连续状态观察和顺序约束至关重要，SLIM 通过保留有效外部技能显著提升成功率。
  • 对于 SearchQA 等推理检索类任务，模型更易将策略内化，SLIM 通过精简技能集减少干扰，同时保持竞争力。
• 双重优化目标：SLIM 不仅优化 Agent 的策略网络（Policy），同时优化外部技能集合，使 Agent 学会“何时需要外部帮助”，更适合复杂、长流程及工具使用任务。

意义与影响

SLIM 的研究为 Agentic Reinforcement Learning 提供了新的范式，其意义主要体现在以下三个方面：

1. 重构技能管理理念：打破了传统 RL 中“技能持续累积”或“零技能推理”的二元对立。SLIM 证明，最优状态并非技能数量最大化或最小化，而是形成一个精简且有效的技能集合，平衡了知识丰富度与推理效率。
2. 提升复杂任务鲁棒性：通过动态生命周期管理，SLIM 有效解决了技能检索噪声、上下文干扰及长尾能力缺失问题。在 ALFWorld 等复杂模拟环境中，其性能显著超越现有基线，证明了动态管理对提升 Agent 实际执行能力的关键作用。
3. 推动 Agent 架构演进：SLIM 将外部技能从固定的辅助工具转变为可优化的训练对象。这种“Policy + Skill Set”联合优化的思路，为构建具备自我进化能力、能根据任务需求自适应调整知识结构的智能体提供了理论依据和技术路径，有助于推动 LLM Agent 从“聊天机器人”向真正具备复杂操作能力的“行动者”演进。