SearchEyes：模拟搜索世界实现多模态深度搜索智能

背景

训练多模态搜索代理（multimodal search agents）以执行多跳推理（multi-hop reasoning）至今仍是一项挑战。根本原因在于现有流程中存在结构性的脱节：训练数据、搜索环境和奖励信号各自独立构建，导致合成的结构化元数据被丢弃、环境依赖不可复现的外部引擎、强化学习奖励在整个轨迹层面上仍然稀疏。这种分离使得代理难以在搜索过程中有效地进行多步推理，也无法在步骤级别获得细粒度的反馈，从而限制了性能的提升。

核心内容

SearchEyes 提出了一种统一的框架，通过一个**类型化知识图谱（typed knowledge graph）作为模拟搜索世界（simulated search world）**的骨干，将原本脱节的三个组件（训练数据、搜索环境、奖励信号）有机整合。

具体而言，该工作首先提出了感知-知识链（Perception-Knowledge Chains, PKC）。PKC 在 Wikipedia 与视觉数据交叉的数据集 Wikidata5M 的视觉-知识交集上，采样受约束的多跳路径。这些路径保留了每一跳的实体元数据，这些元数据同时定义了一个自包含的搜索世界（包含了搜索所需的全部结构信息）以及步骤级别的奖励锚点（reward anchors）。

在此基础上，研究人员进一步提出了跳锚定策略优化（Hop-Anchored Policy Optimization, HaPO）。HaPO 直接复用 PKC 中提供的步骤级奖励锚点，实现步骤级别的信用分配（credit assignment），而无需额外训练一个过程奖励模型（process reward model）。这使得强化学习过程中奖励信号从轨迹级别的稀疏信号转变为步骤级别的密集信号，大幅提升了训练效率和搜索策略的质量。

实验在六个多模态知识密集型基准（multimodal knowledge-intensive benchmarks）上进行，结果证明 SearchEyes 在所有开源多模态搜索代理中达到了最先进的性能。其中，SearchEyes-27B 在平均得分上比最强开源基线提升 6.2 个百分点。

关键要点

• 结构脱节问题：现有方法将训练数据构建、搜索环境模拟、奖励信号设计彼此分离，导致元数据丢失、环境不可复现、奖励稀疏，严重影响多跳推理能力。
• 统一模拟搜索世界：SearchEyes 使用类型化知识图谱作为骨干，构造了一个封闭、可复现的模拟搜索世界，同时包含搜索结构和步骤级奖励锚点。
• 感知-知识链（PKC）：在 Wikidata5M 的视觉-知识交叉域中采样受约束的多跳路径，保留每跳实体元数据，同时提供自包含的搜索环境和步骤级奖励信号。
• 跳锚定策略优化（HaPO）：复用 PKC 中的步骤级锚点进行信用分配，无需额外训练过程奖励模型，将奖励从稀疏轨迹级转换为密集步骤级，提升强化学习效率。
• 性能领先：在六个多模态知识密集型基准上，SearchEyes-27B 平均超越最强开源基线 6.2 个点，达到开源多模态搜索代理的最优水平。

意义与影响

SearchEyes 的工作为多模态搜索代理的训练提供了一种全新的范式。通过将知识图谱作为搜索世界的骨架，它解决了长期以来训练数据、环境和奖励三者分离带来的不可复现性和稀疏奖励问题。PKC 和 HaPO 的结合不仅提升了多跳推理的准确率，还降低了模型对额外奖励模型的依赖，使训练更加简洁高效。这一方法对未来构建更智能、更可靠的多模态搜索系统具有重要的参考价值，也推动了知识图谱与强化学习在多模态场景下的深度融合。