MAG：多模态Web智能体动作与指南生成基准测试发布

背景

数字采用平台（Digital Adoption Platforms，DAPs）是嵌入在网页系统中的叠加层，用于引导用户完成页面内的操作，帮助用户快速熟悉陌生界面。然而，实际场景中的任务很少仅涉及单个页面上的几次点击：用户需要在一系列不断变化的页面状态下执行连续的动作。以往的研究要么聚焦于自动化 web agent 的操作执行，要么侧重于指南文本的生成，将两者视为独立问题；而且大多数方法向模型输入的是 DOM 树或可访问性树等文本化的页面表示，而非人类实际操作的渲染截图。这种文本化的表示丢失了视觉布局、元素样式和动态交互信息，限制了模型对真实网页的理解能力。

核心内容

本文提出 MAG（Multimodal Action and Guide），这是第一个将任务执行与指南编写统一为单一多模态任务的基准与工具链。MAG 定义了 Multimodal Action and Guide（多模态动作与指南） 任务：给定一个任务目标，模型需要同时输出一系列在网页截图上的操作（点击、输入等坐标或元素选择）以及配套的步骤指南文本。该任务包含两种 grounding 策略：

• Set-of-Mark 元素选择：在截图上叠加数字标记，模型通过选择对应的标记序号来指定操作元素。
• 原始像素坐标：直接输出操作点的 (x,y) 像素坐标。

为此，作者构建了一套完整的 harness（工具链），涵盖以下环节：

1. 数据标注：借助 LLM 辅助生成初始标注，再经人工校验，保证任务-动作-指南三元组的质量。
2. 训练：支持对开源的 multimodal 模型进行监督微调或强化学习训练。
3. 在线评估：在真实环境（Live Environments）中执行任务并记录结果。
4. 联合指标：同时评估动作执行的成功率与指南文本的质量（如相关性、可读性等）。

利用该工具链，作者评估了多个前沿 API 模型（如 GPT-4V、Claude 等）以及开源多模态模型（如 LLaVA、InternVL 等）在 MAG 任务上的表现，并进行了详细分析。为进一步提升性能，作者设计了一种 GRPO（Group Relative Policy Optimization）训练方法，并引入专家轨迹（expert trajectories）作为引导。在 9B 参数的 agent 上，该方法将监督微调基线的成功率从 6.9% 提升至 13.2%，几乎翻倍，同时指南质量也得到改善。然而，即使是目前最强的模型（如 GPT-4V）也只能完成不到 40% 的任务，表明该领域仍有巨大的研究空间。

关键要点

• 任务统一：MAG 是首个将 web agent 的动作执行和指南文本生成合并为单一多模态任务的基准，突破了以往两者分离的研究范式。
• 视觉输入：模型中输入的是网页的渲染截图（screenshots），而非 DOM 或可访问性树等文本表示，更接近人类操作的真实场景。
• 两种 grounding 方式：Set-of-Mark（基于标记的选择）和原始像素坐标，分别适应不同的交互需求与模型能力。
• 完整工具链：提供了从数据标注、训练到在线评估和联合指标的端到端框架，支持后续研究复现与扩展。
• 性能提升：通过 GRPO 训练并利用专家轨迹，在 9B 模型上将任务成功率从 6.9% 提高到 13.2%，同时指南质量同步提升。
• 当前天花板：最强模型（如 GPT-4V）的任务完成率仍低于 40%，表明 web agent 在多模态理解与长序列决策上还有很大改进余地。
• 数据与代码开源：论文提及相关数据、代码与媒体将通过 GitHub、Hugging Face 等平台公开。

意义与影响

MAG 的发布为 web agent 研究提供了更贴近真实用户交互的测试环境。通过将动作与指南生成统一为一个任务，它促使模型同时学习"如何做"和"如何描述"，这对于构建可解释、可交互的智能助手至关重要。其基于截图的输入方式避免了依赖 DOM 解析的局限性，使得 agent 能够适应动态内容、深色模式、非标准控件等复杂情况。

同时，GRPO 训练方法的成功表明，结合强化学习与专家示范是提升小模型能力、缩小与 API 模型差距的有效途径。不过，低于 40% 的完成率也警示我们：当前的视觉语言模型在长链任务推理、跨页面状态跟踪和稳健的指南生成方面仍存在显著不足。未来工作可以沿着更高效的 grounding 策略、更好的多轮交互反馈、以及纳入更多真实网页的多样性等方向推进。MAG 工具链的公开将加速这一领域的标准化研究与社区协作。