Hybrid Open-Ended Tri-Evolution Makes Better Deep Researcher

背景

在通往通用人工智能（AGI）的道路上，AI Agent（智能体）在现实应用中的两大核心任务——“深度研究”（Deep Research）与“智能体进化”（Agent Evolution）——正逐渐确立其事实地位。

深度研究旨在让 AI 能够在开放式环境中自主检索并整合信息，以应对那些没有固定答案、边界模糊的研究型任务。然而，当前的 Agent 系统受限于静态的参数化能力，难以在动态变化的开放环境中持续优化其研究深度。

智能体进化则允许 Agent 通过与环境进行自主交互来获取经验，从而推动模型能力的迭代与进化。尽管这一路径在具有标准答案、结果可验证的任务上已被广泛验证有效，但在面对缺乏标准答案的开放式研究任务时，其有效性尚存巨大空白。

目前，这两个关键领域之间存在明显的割裂：前者受限于静态能力，后者缺乏在开放研究场景下的实证支持。如何弥合这一差距，使 Agent 既能进行深度的开放式研究，又能通过交互实现能力的自主进化，成为当前研究的关键痛点。

核心内容

为了解决上述问题，研究人员提出了 Hybrid Open-Ended Tri-Evolution (HOTE，混合开放式三元进化) 框架。该框架的核心目标是利用混合模式的强化学习（Hybrid-mode Reinforcement Learning），基于全网规模的知识（web-scale knowledge），促进“提议者”（Proposer）、“求解者”（Solver）和“评判者”（Judge）这三个模块的协同进化，从而推动 Agent 在开放式任务和环境中向自主进化方向迈进。

1. HOTE 框架机制

HOTE 框架并非单一模型的优化，而是一个多角色协同进化的系统：

• 提议者 (Proposer)：负责生成研究假设或探索路径。
• 求解者 (Solver)：负责执行具体的检索、推理和整合任务。
• 评判者 (Judge)：负责对研究过程和结果进行评估与反馈。

通过混合强化学习，这三个模块不再是孤立存在的，而是基于海量网络知识进行协同训练。这种机制允许 Agent 在开放式环境中，通过不断的“提出-求解-评判”循环，积累经验和优化策略。

2. 实验验证

研究团队在三个长篇幅深度研究基准测试（long-form deep research benchmarks）上进行了广泛的实验。实验结果展示了 HOTE 框架的显著优势：

• 性能超越：经过 HOTE 训练的 8B 参数模型，其性能超过了目前最强的静态开源 8B-32B 参数模型。
• 效率优势：与采用最先进（SOTA）深度研究训练方法相比，HOTE 训练过程所需的时间开销更少。
• 模块必要性验证：实验进一步证实，HOTE 框架中的三个模块（提议者、求解者、评判者）的进化都是不可或缺的，缺少任何一环都会影响整体效果。

关键要点

• 解决核心矛盾：HOTE 框架旨在弥合“静态参数化深度研究”与“动态环境交互进化”之间的鸿沟，特别是在缺乏标准答案的开放式研究场景中。
• 三元协同进化：创新性地引入了“提议者-求解者-评判者”三元结构，并通过混合强化学习实现三者的协同进化，而非单一模型的孤立训练。
• 数据驱动：框架依赖于全网规模的知识（web-scale knowledge）作为进化的基础，确保 Agent 能在真实、复杂的开放环境中学习。
• 小参数大效能：仅使用 8B 参数的模型，通过 HOTE 训练后，性能即可超越参数量更大（8B-32B）的静态最强开源模型，证明了进化机制的高效性。
• 训练效率提升：相比现有的 SOTA 深度研究训练方法，HOTE 在达到更优性能的同时，减少了时间开销。
• 模块不可或缺性：实验严格验证了 HOTE 中所有三个进化模块的有效性，确认了协同进化的必要性。

意义与影响

HOTE 框架的提出标志着 AI Agent 从“静态工具”向“动态进化体”转变的重要一步。

首先，它突破了传统深度研究模型依赖静态参数的局限。以往的研究往往侧重于如何在一个固定的知识截止点上进行更复杂的推理，而 HOTE 通过引入进化机制，使 Agent 具备了在开放环境中持续学习和适应的能力，更贴近人类研究者通过不断试错和反馈来提升认知水平的过程。

其次，该框架在开放式任务上的成功，填补了智能体进化研究的一个关键空白。此前，进化强化学习多应用于游戏或具有明确规则的任务，HOTE 证明了这种机制同样适用于复杂、模糊且无标准答案的现实世界研究任务。

最后，8B 模型在性能上超越更大参数静态模型的结果，为轻量化、高效率的 AGI 路径提供了有力证据。这表明，通过优化的进化机制和协同架构，小参数模型同样可以具备强大的复杂任务处理能力，这对于降低 AI 部署成本、推动 AGI 落地具有积极的现实意义。