智能即受控的自主权：Agentic AI 系统中的失败、升级与治理

背景

随着自主型（Autonomous）和代理型（Agentic）AI 系统在机器人及人机协作环境中的规模扩张，如何有效管理“幻觉”（Hallucination）以及“持续但缺乏正当理由的行为”（Persistent but unjustified action），已成为该领域尚未解决的核心挑战。

传统观点往往将此类失败归咎于模型本身的局限性或对齐（Alignment）技术的不足。然而，本文提出了一种不同的视角：这些问题的根源在于架构层面的脆弱性，即“无界自主权”（Unbounded Autonomy）的预设——这种预设错误地认为，无论不确定性如何上升，智能体（Agent）都应继续运行。

在此背景下，本文旨在探讨一种新的理论框架，即“受控自主权”（Managed Autonomy），并证明通过形式化的架构设计，可以系统地解决智能体在可靠性下降时的行为控制问题。

核心内容

本文构建了一套关于“受控自主权”的理论，主张智能行为不应仅体现为持续执行任务的能力，更应体现为一种形式化的能力：能够检测认知漂移（Epistemic Drift）、暂停推理、尝试恢复，并在可靠性降低时最终交出控制权。

1. SMARt 模型：四层架构

为了实例化这一理论，文章提出了 SMARt（Self-Managing Multi-tier Autonomous Reasoning with Regulated/Revoked transitions，自我管理的多层自主推理与受控/撤销转换）模型。这是一个包含四个状态层的框架：

• Stable（稳定态）：智能体在正常、低不确定性环境下运行。
• Meta-cognitive（元认知态）：智能体监控自身的推理过程，检测认知漂移或置信度下降。
• Assisted（辅助态）：当检测到异常时，智能体暂停独立决策，请求外部辅助或人类介入。
• Regulated（受控态）：在极端不确定性或高风险情况下，智能体完全丧失自主权，由系统或人类严格监管。

2. 形式化验证：带时间守卫的 Petri 网

文章通过开发一种**带时间守卫的 Petri 网（Timed, Guarded Petri Net）**公式，为 SMARt 系统建立了理论上可界定的属性。这一形式化方法证明了架构如何能够：

• 强制升级（Mandate Escalation）：在特定条件下，系统必须从低层级状态向高层级状态转移（如从自主转为受控）。
• 约束无效输出：防止在不可靠状态下生成错误结果。
• 确保治理可达性（Governance Reachability）：保证在指定条件下，治理机制（如人类干预或安全切断）是可以被触发和执行的。

3. 领域特定的触发集与适应性

文章进一步分析了如何在不同的操作设置（如医疗保健、机器人技术等）中引入领域特定的触发集（Domain-specific trigger sets）。

• 安全性保障：假设满足完备性（Completeness）和正确性（Soundness）标准，这些触发集可以系统地保持系统安全。
• 适应性扩展：由于这些触发器被设计为自适应的，SMARt 模型允许智能体的操作范围随时间推移进行安全、受控的扩展。这意味着智能体可以在证明其可靠性的前提下，逐步承担更复杂的任务，而不是一开始就赋予其无限制的权力。

关键要点

• 重新定义智能行为：真正的智能不仅包括“做对事”，还包括在“可能做错事”时知道“停下来”或“求助”。智能被定义为检测认知漂移并管理不确定性的能力。
• 无界自主权是架构缺陷：假设智能体应无视不确定性上升而持续运行的预设，是导致 AI 失败的关键架构漏洞。
• SMARt 模型的核心机制：通过 Stable、Meta-cognitive、Assisted 和 Regulated 四层状态，实现从自主到受控的平滑过渡。
• 形式化方法的必要性：利用带时间守卫的 Petri 网，为系统的升级路径和治理可达性提供数学上的严格证明，而不仅仅是经验性的规则。
• 动态的安全边界：通过领域特定的触发集，系统可以在保证安全的前提下，随着智能体能力的验证而逐步扩大其操作范围。
• 失败管理即治理核心：将失败管理形式化地嵌入自主生命周期，是实现可靠且受治理的 AI 的关键步骤。

意义与影响

这篇文章为 Agentic AI 的发展提供了一条从“盲目自信”转向“审慎自主”的技术路径。其意义主要体现在以下几个方面：

1. 解决 AI 安全性的架构级方案：不同于仅依赖训练数据或奖励模型的对齐方法，SMARt 模型从系统架构层面引入了“熔断机制”。它承认 AI 的不确定性是固有的，并通过形式化手段确保这种不确定性不会导致灾难性后果。
2. 为高可靠性场景提供可行性：在医疗、自动驾驶等高风险领域，AI 不能仅凭概率行事。SMARt 模型提供的“受控自主权”框架，使得 AI 能够在需要人类监督或严格监管的场景下安全运行，同时保留其在低风险场景下的自动化优势。
3. 推动 AI 治理的形式化：文章强调通过数学模型（Petri 网）来定义治理规则，这为 AI 监管提供了可验证、可审计的技术基础。治理不再仅仅是政策条文，而是嵌入代码和系统逻辑中的硬性约束。
4. 平衡创新与安全：通过自适应触发集和受控的范围扩展，SMARt 模型允许 AI 系统在证明自身可靠性后逐步增强能力。这为解决“AI 能力增长与安全控制滞后”之间的矛盾提供了一种动态平衡的思路。

总之，该研究指出，未来的 AI 系统不应追求绝对的、无限制的自主，而应追求一种可管理、可升级、可干预的受控自主权。这是实现真正可靠且对社会负责的 Agentic AI 系统的必经之路。