Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents

背景

当前，针对工具使用型 AI Agent（智能体）的红队测试基准（agentic red-teaming benchmarks）通常将攻击是否成功简化为一个比特：要么攻击成功，要么失败。这种二元的攻击成功率（attack-success rate）虽然简洁，却丢弃了防御者最需要的信息——即被注入的 Agent 执行的动作实际造成了多大危害。例如，一个攻击可能成功让 Agent 发送了一封可撤销的内部邮件，而另一个攻击则可能让 Agent 向外泄露了客户数据库。二元度量无法区分这两种截然不同的后果，导致防御评估失去细致度。

为了解决这一缺陷，arXiv 上发表的论文《Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents》（cs.CR, 2026 年 7 月）引入了一种基于动作分级的危害评分量表。该量表不再只回答“是否被攻破”，而是对 Agent 在攻击过程中执行的工具调用轨迹（tool-call trajectory）进行七级序数评分（L0 到 L6），从而为安全分析提供更丰富的维度。

核心内容

动作分级危害评分（Action-Graded Harm Rubric）

论文提出一个七级序数刻度的评分体系，依据三个关键维度对 Agent 的实际动作逐级评估：

• 动作是否可逆（reversible）：即造成的损害能否被撤销；
• 动作是否越界（cross scope）：即是否超出了预期的影响范围，触及到第三方系统或数据；
• 动作是否扩展了权限（expanded privilege）：即是否提升了 Agent 自身的控制能力。

这七个级别从 L0（无有害动作）到 L6（最严重，如不可逆的跨权限滥用）逐级递升。量表的具体定义在论文中有完整描述，但摘要未列出全部级别细节。

评估方式：确定性预言机 vs. 语言模型评判员

该量表通过两种方式计算：

1. 确定性预言机（deterministic oracle）：直接读取 Agent 的轨迹以及攻击者的设定目标，严格按照规则映射出等级。这种方式准确、可重复，但依赖于预先定义的规则。
2. 语言模型评判员（LM judges）：使用三个前沿大语言模型（frontier language models）作为评判员，它们不直接接触原始标签（tag-free），仅基于对轨迹的自然语言描述进行评分。这样可测试是否能在不依赖特定规则的情况下自动复现分级。

实验设置与结果

论文在 AgentDojo 工作台套件（workspace suite）上进行了评估，涉及四个受害者模型（victim models）和两种防御策略（defenses）。主要发现包括：

• 二元指标隐藏的三类案例：通过分级评分，论文发现了三个二元攻击成功率无法暴露的问题场景。其中最为关键的是：一种防御报告零攻击成功率，但仍然允许通过一个未经过滤的工具造成外部可见的跨范围泄露（cross-scope leak）。这意味着该防御在二元指标下看似完美，实则存在严重漏洞。
• 评判员与预言机的一致性：三个 LLM 评判员构成的评审团与确定性预言机之间达到了高度的序数一致性（ordinal agreement），Krippendorff's alpha = 0.91，表明语言模型能够相当好地复制基于规则的评分。
• 系统性盲点：尽管总体一致性高，但评判员群体存在共同的系统性盲点，最值得注意的是 未能识别升级链（escalation chains）——即一系列逐步提升权限或扩大范围的动作序列。这可能是由于语言模型对动作之间的上下文演化关系缺乏理解。

贡献总结

论文的贡献在于提供一个可复用、基于轨迹的严重性工具（trace-grounded severity instrument），该工具可以直接应用于现有红队测试日志（red-team logs）中记录的实际动作，而无需改变测试流程。与先前的工作（如提供危害分类学、有害任务完成测试、执行级安全基准或感知严重性的仿真）不同，本工作聚焦于对已发生动作进行事后分级，从而更容易集成到现有红队评估管道中。

所有代码、提示词（prompts）以及逐回合的日志（per-episode logs）均已公开。

关键要点

• 二元攻击成功率信息不足：仅报告成功/失败丢弃了危害程度信息，防御者无法区分轻度事故与灾难性泄露。
• 动作分级量表（L0 - L6）：基于可逆性、越界性、权限扩展性三个维度对 Agent 的工具调用轨迹进行七级序数评分，提供更细粒度的危害评估。
• 两种计算方式：确定性预言机（规则驱动，高可靠）与 LLM 评判员（自动评分，可扩展）。
• 实验揭示隐藏风险：在 AgentDojo 上，一种防御虽然攻击成功率为零，却仍出现了外部可见的跨范围泄露，说明二元指标可能掩盖防御漏洞。
• 评判员与预言机一致性好：Krippendorff's alpha = 0.91，显示 LLM 在无标签描述下能较好地复现分级。
• 系统性盲点：升级链识别失败：评判员群体未能识别出逐步升级权限的连续动作序列，这是未来需要改进的方向。
• 工具可复用、日志兼容：评分量表可直接应用于现有红队测试的轨迹日志，无需额外模拟或修改测试流程。
• 代码与数据全部开源：包括评分规则、prompt 模板和每回合的详细日志，便于复现与扩展。

意义与影响

这项研究对 Agent 安全评估领域具有多重意义：

1. 推动评估标准从二元走向分级：传统红队测试只关注“是否攻破”，但实际防御决策更需要知道“攻破后造成了多严重的后果”。论文提出的分级量表提供了一种标准化的严重性度量，使安全团队能更精确地对比不同攻击和防御的效果。

2. 暴露防御评估中的盲区：实验显示，一个二元指标为 0% 的防御实际上仍然允许严重泄露。这提醒业界，不能只依赖攻击成功率作为防御有效的唯一指标，必须结合动作的实际后果来评估。

3. LLM 作为自动评分器的可行性：三个前沿语言模型组成的评判员与规则预言机高度一致，显示出大模型在评估 Agent 行为严重性方面的潜力。但系统性盲点的存在（尤其是升级链）也警示我们，当前 LLM 的“安全判断”仍有局限，不能完全替代规则基础的方法。

4. 促进可重复性与实用化：公开的代码、prompt 和日志降低了复现门槛，其他研究团队可以直接在自己的红队测试数据上应用该量表，从而快速推广这一评估方法。

5. 与现有工作的互补性：论文明确与“危害分类学”“有害任务完成测试”等已有方向区别开来，强调其工具是“基于轨迹、事后分级”的，更适合集成到现有红队管道中，而非取代模拟或预先测试。

总之，这项研究为 Agent 安全性评估提供了一个更细腻、更实用的度量工具，有助于弥合“攻击是否成功”与“实际危害有多大”之间的信息鸿沟，从而帮助防御者识别真正危险的漏洞，提升 AI Agent 系统的整体安全性。