Managed Autonomy at Runtime: Gear-Based Safety and Governance for Single- and Multi-Agent Cyber-Physical Systems

背景

自主代理（无论是LLM驱动的软件代理还是机器人物理代理）在缺乏持续人类监督的情况下运行时，面临一系列常见的故障模式：未经验证行动导致的安全违规、未受约束的循环导致的行为不稳定性，以及未处理错误状态导致的连续性损失。

核心内容

论文提出了一种离散时间控制系统——Gear Managed Autonomy at Runtime（简称 \system{}），该系统通过五种执行齿轮（\Gobs{}、\Gsug{}、\Gplan{}、\Gexec{}、\Gint{}）与基于效用的调度以及事件驱动的回退机制相结合，来实现对自主代理的实时管理。

单代理案例

针对单代理场景，作者证明了以下特性：单调稳定性、执行安全、最终稳定化、回退完整性和与齿轮约束马尔可夫决策过程的等价性。这些证明确保了系统在任何时间点都能安全执行动作，并最终稳定到预期状态。

多代理网络物理系统（CPS）

对于多代理网络物理系统，论文将已建立的 \smart{} 托管自治生命周期应用于此场景，并将运行时证据映射到其四个治理状态（\Stable{} / \Meta{} / \Assisted{} / \Regulated{}）。核心机制包括：

• 共识门控
• 群集级李雅普诺夫分析
• 每个代理的齿轮权限
• 会合控制

这些机制共同提供了分布式安全性和稳定性保证，并在给定假设条件下实现了零碰撞。论文指出，执行齿轮作为微观级别的权限，位于 \smart{} 运行时治理状态之下，实现了动作控制与自治治理的有效分离。

评估

作者在三个代理的 UR5 机器人装配单元上进行了评估，使用来自 NIST 机器人臂位置精度退化测量数据集的故障幅度，在10,000次蒙特卡洛模拟中测试。该系统在异常检测方面达到99.6%的检测率，与单一代理基线相比提升至99.6%（基线为2.1%），检测延迟降低了3.5倍，并提供了形式化的物理工作空间安全证书。

关键要点

• 自主代理运行时故障模式包括未验证动作的安全违规、行为循环不稳定性以及错误状态下的连续性损失。
• \system{} 通过五种执行齿轮（\Gobs{}、\Gsug{}、\Gplan{}、\Gexec{}、\Gint{}）结合效用门控调度和事件驱动回退，实现离散时间控制。
• 单代理场景下，\system{} 证明了单调稳定性、执行安全、最终稳定化、回退完整性和与齿轮约束马尔可夫决策过程的等价性。
• 多代理 CPS 场景下，应用 \smart{} 托管自治生命周期，将证据映射到四个治理状态，并结合共识门控、群集级李雅普诺夫分析、每个代理齿轮权限及会合控制，实现分布式安全与零碰撞。
• 执行齿轮作为微观级别的权限，分离动作控制与自治治理。
• 在三个代理 UR5 机器人装配单元上的10,000次蒙特卡洛模拟中，异常检测率提升至99.6%（基线2.1%），检测延迟降低3.5倍，并提供形式化物理工作空间安全证书。

意义与影响

本文提出的 \system{} 及 \smart{} 托管自治生命周期，为单代理和多代理网络物理系统提供了一种统一且可证明的实时自主管理框架，显著提升了在缺乏持续人类监督下的安全性和稳定性。执行齿轮与治理状态的结合，使动作控制与自治治理分离，降低了异常检测延迟并提高了检测率，同时确保了形式化的物理工作空间安全证书。这为机器人装配、自主多代理系统等领域提供了一套可靠的治理机制，在实际部署中能够有效应对故障模式，降低安全风险，并为高风险物理系统的可靠运行提供理论基础和实践支持。