UNIBROWSE多模态浏览框架性能超越GPT-5

背景

多模态网页浏览（Multimodal BrowseComp）任务要求智能体在动态网页内容中融合感知、工具使用和长程推理，这对其处理组合结构、开放世界不确定性以及跨长时间交互的多模态集成能力提出了严峻挑战。现实世界的多模态浏览涉及三种截然不同的信息流模式：纯文本、图像到文本和文本到图像。然而，现有数据构建方法仅覆盖纯文本和图像到文本两种模式，文本到图像模式基本未被处理，这限制了智能体的通用性和鲁棒性。为解决这一空白，本文提出 UNIBROWSE，一个统一的数据管线，首次同时生成涵盖全部三种模式的训练数据，并通过实时网络检索增强知识图谱以提高数据保真度，同时引入一种新的探索程度度量来筛选低信号样本，从而支持高效的强化学习。

核心内容

UNIBROWSE 是一个数据到智能体（Data-to-Agent）框架，旨在填补多模态浏览任务中文本到图像信息流的数据缺口。其核心数据管线包含三个关键创新：

1. 统一数据生成：首次同时生成覆盖纯文本、图像到文本和文本到图像三种信息流模式的训练数据，确保智能体在不同交互场景下都能获得有效学习信号。
2. 知识图谱增强：将策展的知识图谱与实时网络检索相结合，提升生成数据的真实性和保真度，避免静态知识库可能带来的过时或偏差。
3. 探索程度度量：引入一种新颖的度量指标来衡量探索程度，用于过滤掉信息量低的轨迹样本，从而强化学习阶段能够聚焦于高价值数据，提升训练效率。

基于该管线，研究者生成了高质量的热启动工具使用轨迹和富含探索行为的问答对，并在 35B 参数规模的智能体上进行了监督微调（SFT）和探索感知的强化学习训练。最终得到的 UNIBROWSE 智能体在多模态 BrowseComp 基准测试中取得了领先表现：在五个不同基准上的平均准确率达到 54.4，相比其基础模型 Qwen3.5-35B-A3B 提升了 10.5 个百分点，并超越了多个闭源智能体工作流，如 GPT-5（42.9）、Gemini-2.5 Pro（44.8）和 Gemini-2.5 Flash（41.3）。

关键要点

• 三种信息流模式全覆盖：UNIBROWSE 是第一个同时处理纯文本、图像到文本和文本到图像三种浏览信息流的数据管线，填补了现有方法在文本到图像模式上的空白。
• 数据管线的协同创新：通过实时网络检索增强知识图谱来提高数据保真度，并引入探索程度度量来筛选低信号样本，使后续强化学习更加高效。
• 35B 参数级智能体：训练所得智能体规模为 35B，采用监督微调 + 探索感知强化学习的两阶段训练策略。
• 显著性能提升：在五个多模态浏览基准上平均准确率 54.4，比基座模型 Qwen3.5-35B-A3B 提升 10.5 个点，并超越 GPT-5、Gemini 系列等闭源工作流。
• 开放性与可复现性：论文附带代码、数据及关联资源（通过 arXiv 相关工具链提供），为后续研究提供了基础。

意义与影响

UNIBROWSE 的工作对多模态浏览智能体领域具有重要的方法论和实际意义。首先，它第一次系统性地解决了文本到图像信息流的数据缺失问题，使得智能体能够在更真实的浏览场景下进行训练，覆盖从用户阅读图文内容到主动搜索图片来回答问题的全链条交互。其次，通过引入探索程度度量来过滤低信号数据，UNIBROWSE 提供了一种数据高效训练的新范式，有望降低大规模强化学习的计算成本并提升训练质量。从竞赛指标看，UNIBROWSE 不仅大幅超越了同参数规模的开源模型，还以 35B 的参数量击败了 GPT-5、Gemini-2.5 Pro 等更大或闭源的强大代理系统，证明了精心设计的数据驱动方法在智能体任务中的巨大潜力。这项工作也为未来构建更通用、更鲁棒的多模态浏览助手奠定了数据和方法基础。