DeepSearch-Evolve提出可验证环境下的自我蒸馏框架，提升长程网页代理性能
速览
该研究提出DeepSearch-Evolve，一个基于可验证环境DeepSearch-World的自我蒸馏框架，用于训练网页代理。环境包含42万条多跳QA任务，支持进度验证、反思和故障恢复。通过迭代生成、过滤、混合和微调，模型无需外部蒸馏即可提升性能，在BrowseComp、GAIA和HotpotQA上分别达到31.2%、61.5%和93.4%的准确率。工作表明可验证环境能为长程网页代理提供可扩展的自我进化能力。
AI 深度解读
背景
训练能够使用工具并自行从经验中改进的智能体仍然是一个挑战。传统的监督微调依赖固定的教师蒸馏轨迹，而稀疏奖励的强化学习则难以对长跨度交互提供有效监督。现有方法往往需要从更强大的模型（如 GPT-4）进行蒸馏，但成本高昂且难以扩展。为此，研究人员提出了一个可验证的环境 DeepSearch-World，以及基于该环境的自蒸馏框架 DeepSearch-Evolve，旨在实现网络搜索智能体的自我进化。
核心内容
论文提出了 DeepSearch-World，一个确定性的、可验证的环境，提供了可复现的搜索和页面阅读工具。该环境包含 42 万个多跳问答任务，这些任务基于实体级随机游走构建。环境支持多种对自我进化至关重要的智能体认知行为，包括进度验证（progress verification）、基础反思（grounded reflection）和失败恢复（failure recovery）。
在此基础上，作者设计了 DeepSearch-Evolve，一个自蒸馏框架。该框架通过迭代执行轨迹生成、过滤、数据混合和微调，不断训练出更强的智能体。整个过程不依赖任何更强大模型的蒸馏，完全基于智能体自身在可验证环境中产生的数据。
实验结果显示，仅用 9B 参数的模型 DeepSearch-World-9B 在多个基准上取得了具有竞争力的成绩：在 BrowseComp 上达到 31.2%，在 GAIA 上达到 61.5%，在 HotpotQA 上达到 93.4%。这表明可验证的环境能够支持长跨度网络智能体的可扩展自我进化。
论文将公开环境、42 万训练池、验证集、模型和代码，以促进自我改进的深度搜索智能体研究。
关键要点
- 可验证环境：DeepSearch-World 提供确定性、可复现的搜索和页面阅读工具，确保每次操作结果一致，便于智能体自行验证。
- 42 万多跳任务：通过实体级随机游走自动生成，覆盖复杂推理场景。
- 三种核心认知行为：进度验证（判断当前步骤是否正确）、基础反思（根据事实修正推理）、失败恢复（遇到错误时调整策略）。
- 自蒸馏框架 DeepSearch-Evolve：不依赖外部教师模型，通过迭代生成轨迹、过滤高质量轨迹、混合数据并微调，实现自我改进。
- 显著性能：9B 参数的模型在 BrowseComp（31.2%）、GAIA（61.5%）、HotpotQA（93.4%）上达到或超过同类开源智能体水平。
- 开源承诺：环境、数据集、模型和代码将全部公开，降低研究门槛。
意义与影响
该工作证明了在可验证环境中，智能体可以通过自蒸馏实现令人惊讶的自我进化，无需依赖 GPT-4 等外部强监督。它打破了以往认为只有通过教师蒸馏或大规模强化学习才能提升长跨度智能体能力的观点。DeepSearch-World 提供的确定性环境使得自我生成数据变得可靠，智能体可以不断从自身成功和失败的经验中学习，从而在开放域搜索任务中逐步提升。这一范式有望被推广到其他工具使用场景，如代码执行、数据库查询等。同时，开放的环境和数据集将加速社区在自我改进智能体方向的研究。