DevicesWorld: Benchmarking Cross-Device Agents in Heterogeneous Environments

背景

近年来，基于大语言模型（LLM）的智能体在操作单一数字环境（如移动应用、桌面系统、智能家居）方面取得了快速进展。然而，现实世界中的用户目标往往跨越多个设备：信息可能来自手机，需要在桌面端处理，最终结果又需要在另一设备上呈现。当前大多数基准测试都聚焦于单个主导执行环境，这使得评估智能体能否在异构设备间获取和整合信息、并完成具有跨设备依赖关系的端到端任务变得困难。针对这一空白，研究者提出了 DevicesWorld 基准。

核心内容

DevicesWorld 是一个大规模、可执行的跨设备协同操作基准。它包含 6,140 个任务，并将三类设备环境——移动端、桌面端和物联网（IoT）——整合到一个统一的跨设备交互与评估框架中。每个任务都定义了一个自然语言描述的用户目标、参与设备及其初始状态、可执行动作、基于规则的验证器以及清理流程。通过多阶段构建与质量控制流水线，任务既贴近真实用户需求，又能自动根据设备状态和生成的文件对最终结果进行验证。

研究团队在一个固定评估集上测试了五个前沿的 LLM 智能体系统。所有方法的成功率都很低，最佳方法也仅达到 12.5%。在失败的任务中，约有 28.7% 至少满足一项评分条件但仍未能完成整个任务。轨迹分析显示，智能体在获取信息或操作界面时容易陷入困境，会混淆源设备和输出设备，或者在所有条件尚未同时满足时就提前终止。

DevicesWorld 将跨设备协同操作转化为一个可执行、可复现且具有诊断价值的评估问题，为研究可靠的跨设备智能体提供了重要的实验平台。

关键要点

• 任务规模：包含 6,140 个任务，覆盖移动、桌面和 IoT 三类设备环境。
• 统一框架：将异构设备环境整合到一个评估框架中，支持跨设备交互与状态验证。
• 自动验证：每个任务配备基于规则的验证器和清理流程，结果可从设备状态和生成文件自动判定。
• 表现现状：最佳 LLM 智能体成功率仅 12.5%，表明跨设备协同操作对当前系统极具挑战。
• 典型失败模式：智能体常在信息获取、界面操作、设备混淆以及提前终止方面出错；约 28.7% 的失败任务部分满足条件但未通过完整验证。
• 诊断价值：可执行的流程和清晰的失败分类有助于定位智能体的具体弱点。

意义与影响

DevicesWorld 填补了跨设备智能体评估的空白。它的出现将推动研究从单一设备操作转向更贴近真实场景的多设备协同。通过提供公开可复现的基准和自动验证机制，它能够系统性地揭示当前 LLM 智能体在跨设备任务中的瓶颈，例如信息整合能力不足、设备间上下文切换困难以及任务规划缺乏鲁棒性。此外，该基准的诊断功能有助于研究者针对性地改进智能体的感知、推理和执行模块，从而加速可靠跨设备助手的发展。未来，随着 IoT 和移动-桌面混合工作流的普及，类似 DevicesWorld 的基准将成为衡量智能体通用性的关键工具。