OSGuard：计算机使用代理安全性基准测试深度解读

背景

随着多模态大语言模型（MLLMs）能力的飞跃，Computer-use agents（计算机使用代理）正迅速从概念走向现实。这类代理旨在通过模拟人类操作，自动完成复杂的桌面应用交互和网页浏览任务。目前，学术界和工业界对这类代理的评估主要聚焦于“任务成功率”（Task Success），即代理能否在给定指令下完成既定目标。

然而，这种单一维度的评估存在显著盲区：任务成功并不等同于安全。一个代理可能通过“不安全捷径”（Unsafe Shortcut）达成名义上的目标。例如，为了快速关闭一个弹窗而误删系统关键文件，或者在网页操作中泄露敏感凭证。虽然最终任务看似完成，但过程可能破坏了系统状态、违反了用户隐私或触发了恶意行为。

现有的安全评估往往缺乏系统性，难以区分“结果正确但过程危险”与“真正安全”的差异。为此，研究者提出了 OSGuard，这是一个专为计算机使用代理设计的双重粒度（Dual-granularity）基准测试套件，旨在评估代理在用户指令未发生任何变更的情况下，面对潜在风险时的安全性表现。

核心内容

OSGuard 的核心创新在于其双重粒度的设计架构，分别从微观的“动作层面”和宏观的“端到端执行层面”对代理的安全性进行全方位评估。

1. 动作层面基准（Action-level Benchmark）

这一层面关注代理在每一步操作中的即时决策能力，旨在评估本地护栏（Local Guardrails）的有效性。

• 上下文化动作标注：基准测试收集了代理提出的具体动作（如点击、输入、拖拽等），并结合当前的界面状态（Interface State）和原始用户指令进行上下文化处理。
• 三级分类标签：每个动作被人工标注为以下三类之一：
  • Allowed（允许）：符合指令且安全。
  • Unrelated（无关）：与当前任务目标无直接关联，但通常无害。
  • Unsafe（不安全）：存在潜在风险，如可能导致数据丢失、隐私泄露或系统崩溃。
• 评估逻辑：通过判断代理是否能准确识别并拒绝“Unsafe”动作，来衡量其局部安全感知能力。

2. 风险增强执行套件（Risk-augmented Execution Suite）

这一层面关注代理在完成整个任务流程中的端到端安全性，旨在揭示局部监控与全局安全之间的差距。

• 基于 OSWorld 的任务变体：该套件基于现有的 OSWorld 基准构建，但进行了专门修改。研究者手动构造了任务变体，确保原始任务目标依然可达，但环境被引入了“潜伏性危害”（Latent Hazards）。
• 潜伏性危害示例：包括但不限于破坏性覆盖（Destructive Overwrites）、意外修改系统配置、触发恶意脚本等。
• 增强型评估器（Augmented Evaluators）：
  • 传统的评估器仅检查任务是否完成。
  • OSGuard 的评估器在保留原有“任务成功”标准的同时，增加了明确的基于状态的安全不变量（State-based Safety Invariants）。
  • 核心区别：这种设计使得评估能够区分“安全完成”和“不安全完成”。即使代理达成了名义上的任务目标（如关闭了弹窗），如果过程中触发了安全不变量（如删除了重要文件），仍会被判定为不安全。

3. 实验结果与发现

研究者在 OSGuard 上对当前的多模态护栏模型进行了测试，得出了以下关键发现：

• 局部表现良好：在动作层面的孤立判断中，当前的多模态护栏模型表现尚可，能够识别出许多明显的危险动作。
• 端到端存在差距：一旦进入风险增强的执行环境，暴露出了局部监督与可靠端到端安全之间的显著差距。这意味着，即使代理每一步看起来都没大错，但在复杂交互链条中，累积的风险或隐蔽的副作用可能导致最终结果不安全。

关键要点

• 双重粒度评估：OSGuard 结合了微观的动作级判断和宏观的任务级执行评估，弥补了单一评估维度的不足。
• 不变指令下的安全测试：评估前提为用户指令保持不变（Benign, Unchanged User Instructions），聚焦于代理自身行为的安全性，而非对抗性提示注入。
• 区分“名义成功”与“实质安全”：通过引入基于状态的安全不变量，OSGuard 能够识别那些虽然完成任务目标，但通过破坏系统状态或违反安全规范来实现的“不安全完成”。
• 潜伏性危害注入：通过修改环境引入如破坏性覆盖等隐性风险，模拟真实世界中复杂的交互陷阱。
• 局部与全局的脱节：实验证实，模型在单步动作识别上的高分，并不能保证其在复杂任务全流程中的安全性。

意义与影响

OSGuard 的提出标志着计算机使用代理安全评估进入了一个更精细化的阶段。

1. 填补评估空白：现有的基准测试多关注功能性和效率，OSGuard 专门针对“安全性”这一关键维度，特别是针对那些“结果正确但过程危险”的隐蔽风险提供了量化工具。
2. 指导护栏优化：通过双重粒度的诊断能力，研究者可以明确指出模型是在“动作识别”阶段出错，还是在“长期状态维护”阶段失效，从而针对性地优化多模态护栏算法。
3. 推动可信 AI 部署：随着 AI 代理逐渐接管更多桌面和网页操作，其安全性直接关系到用户数据和系统稳定。OSGuard 为行业建立统一的安全标准提供了参考，有助于推动更可靠的 AI 代理在实际生产环境中的部署。
4. 揭示技术瓶颈：实验结果揭示的“局部监督与端到端安全之间的差距”，为后续研究指明了方向——未来的模型不仅需要强大的即时感知能力，更需要具备全局状态追踪和风险累积判断的能力。