CurateEvo：数据策展动态进化提升智能体后训练

背景

大语言模型（LLM）Agent 需要通过后训练（post-training）方法来提升从环境反馈中学习长周期决策的能力。然而，现有的 Agent 后训练流程通常将数据策展（data curation）视为一个固定的预处理步骤，主要关注数据增强，而忽视了数据过滤、精炼以及针对下游失败模式的适应性调整。这种静态的数据处理方式无法有效应对训练过程中不断涌现的失败案例与效率瓶颈。

核心内容

本文提出 CurateEvo，一个面向 Agent 后训练数据的失败驱动动态进化框架。其核心思想是将数据策展策略本身表示为可执行代码，并利用来自开发集（held-out development set）的失败轨迹来迭代地重写（rewrite）该策略。具体机制如下：

• 策略表征：数据策展策略被编码为一段可执行代码，该代码定义了如何从固定原始语料库中生成训练数据。
• 迭代进化：每一轮（epoch）中，CurateEvo 根据当前策略在开发集上的失败轨迹，自动诊断重复出现的失败模式（recurring failure modes），并对策展代码进行修改——例如增加数据增强、过滤异常样本或精炼低质量数据点。这一环节旨在提升有效性（effectiveness）。
• 效率优化：在有效性提升之后，CurateEvo 进一步引入成本感知目标（cost-aware objective），剪除冗余或低效用（low-utility）的训练轨迹，从而降低策展开销，提升效率（efficiency）。
• 数据产出：经过进化的策略将固定原始语料分别转化为三类数据：监督微调（SFT）数据、强化学习（RL）数据以及推理时记忆库（inference-time memory bank）。

实验在 ACEBench-Agent、BFCL-V4 和 τ²-Bench 三个基准上，覆盖有标注（labeled）和野生数据（wild-data）两种设置。结果表明，CurateEvo 在平均得分上分别比先前策展方法高出 3.2 分（有标注设置）和 2.7 分（野生数据设置），且与不同的后训练配方（post-training recipes）兼容，并能显著降低策展开销。

关键要点

• CurateEvo 将数据策展策略视为可执行代码，并通过失败轨迹驱动代码重写，实现动态进化。
• 进化过程分为两个阶段：首先通过诊断失败模式来增强、过滤或精炼数据以提升有效性；然后通过剪枝低效用训练样本来提升效率，目标函数包含成本意识。
• 每个 epoch 输出的训练数据分为 SFT 数据、RL 数据和推理时记忆库三类，分别对应不同后训练需求。
• 在 ACEBench-Agent、BFCL-V4 和 τ²-Bench 上，CurateEvo 始终优于以往静态或仅增强的数据策展方法。
• 与多种后训练配方（如不同 SFT/RL 比例）兼容，不依赖特定训练算法。
• 自动化策展策略进化可大幅减少人工重新设计数据流程的负担，显著降低策展开销（curation overhead）。

意义与影响

CurateEvo 提供了一种自动化、自适应的数据策展新范式，将数据策展从静态预处理升级为动态、可进化的训练环节。它解决了当前 Agent 后训练中数据策展与下游失败模式脱节的核心问题，使得模型在长周期决策任务中的表现能够持续从失败中学习并改进。此外，该方法不局限单一训练框架，易于集成到现有 LLM Agent 开发流水线中，具有较高的实用价值。其引入的成本感知机制也为大规模训练数据的管理提供了效率优化思路，有助于降低计算资源消耗。论文提出的失败驱动进化理念，可能启发未来更多关于数据策展策略自动设计的研究。