TrustX发布代理AI风险分类框架ARC

背景

随着自主智能体（agentic AI）系统在企业与公共部门场景中的迅速普及，现有通用型AI风险框架在分类和治理这些系统时已显得力不从心。这些自主系统能够独立规划、执行复杂任务链，其行为的不确定性和潜在影响远超传统大语言模型。在此背景下，TrustX 提出了 Agent Risk Classification Framework（ARC），旨在为内部开发的自主AI系统提供一套结构化、可重复的风险分级方法。该框架基于已有的AI治理基础框架，并专门针对七种不同类型的自主AI系统进行设计，以填补当前治理工具的空白。

核心内容

ARC 框架的核心是一个十二维评分体系，用于量化自主AI系统的风险水平。该评分表（rubric）综合考虑了多个维度的风险评估指标，包括但不限于：自主程度、任务关键性、数据访问权限、外部交互能力、失败后果、可解释性要求、系统鲁棒性等。每个维度都有明确的打分标准，最终汇总得到一个综合风险分数。

框架的其他关键组件包括：

• GPA + IAT 分类模型：GPA（General Purpose AI）与 IAT（Intent and Autonomy Taxonomy）相结合，用于对系统进行初步分类。GPA 部分参考了通用AI的分类方法，而 IAT 则专门用于描述自主系统的意图和自主性水平。
• 五级自主性框架：源自现有文献，将自主AI系统的自主程度划分为五个等级（例如从“完全人类控制”到“完全自主决策”），每个等级对应不同的风险假设和治理要求。

以上输入共同生成一个三层的治理输出（Three-Tier Governance Output），每一层对应不同的风险级别（如低风险、中风险、高风险），并为每个级别提供映射的控制措施建议。这些控制建议涵盖了开发、部署、监控、审计等全生命周期环节。

此外，框架还包含一个专门的 Coding Assistant 扩展，针对自主编码助手这类特定自主AI系统的细微差别进行了调整。例如，编码助手可能直接生成代码并自动部署，其风险维度（如代码质量、安全漏洞、权限提升等）需要额外关注。

论文通过一个示例说明了框架的实际应用：假设一个企业开发了内部自主编码助手系统，使用 ARC 框架对其进行评估，从十二维评分、GPA+IAT 分类到最终的三层风险分级，并给出相应的控制措施（如代码审查强制、沙箱运行、权限隔离等）。社区可以通过论文提供的交互式框架链接进行访问和实践。

关键要点

• ARC 框架专门针对 内部开发的自主AI系统（Internally Created Agentic AI Systems），覆盖七种常见类型。
• 核心量化工具是 十二维评分量表，从多个角度综合评估风险，避免单一维度的片面性。
• 框架融合了 GPA + IAT 分类模型 和 五级自主性框架，确保分类既考虑通用AI属性也考虑自主行为特征。
• 输出为 三层治理输出，每层对应风险级别并附带具体的控制建议，便于实践落地。
• 提供 Coding Assistant 扩展，针对自主编码助手这类场景进行专门调整，体现框架的实用性。
• 示例展示了从评分、分类到分级和控制的完整流程，说明框架的可操作性。
• 目标用户包括 AI治理从业者、风险官、开发者、监管机构，且框架将定期迭代以增强鲁棒性。

意义与影响

ARC 框架的提出填补了自主AI系统风险分级领域的空白。现有通用型AI风险框架（如 EU AI Act 的风险分类、NIST AI RMF 等）往往侧重于静态的模型或数据维度，而自主AI系统的“自主性”带来了动态决策、长期规划、外部工具调用等新风险。ARC 通过引入五级自主性框架和十二维评分，使得风险分级更加贴合实际。其三层次治理输出为组织提供了一个清晰的行动路线图：低风险系统可简化管控，高风险系统需严格审计和隔离。Coding Assistant 扩展更是直击当前AI编码工具（如 GitHub Copilot、Cursor 等）在企业内部部署时的治理痛点。整体而言，ARC 有望成为自主AI系统内部治理的参考标准，推动企业在创新与安全之间取得平衡，并为未来监管政策的制定提供技术基础。