逻辑编程量化强化学习可解释性

背景

可解释强化学习（XRL）旨在使强化学习（RL）策略更加透明和可解释，这在安全关键和人机交互场景中是关键需求。然而，现有方法大多基于用户研究，针对特定受众的需求，缺乏共享的评估指标。另一方面，可解释人工智能（XAI）中基于逻辑的方法提供了决策过程的紧凑、人类可读的抽象表示，但系统量化逻辑表示的可解释性程度仍是一个开放问题。本文旨在通过引入面向规划和目标导向的指标来评估RL策略的可解释性，从而推动XRL的发展。同时，它为逻辑在XAI中的应用提供了一种原则性方法，用于量化逻辑规则的可解释性，超越了常识性评估和简单的命题片段。

核心内容

本文采用归纳逻辑编程（ILP）从RL策略中提取符号表示，并定义了一套新的可解释性指标，包括：

• 激活率（Activation Rate）：衡量符号规则与实际智能体行为之间的对齐程度。
• 特征覆盖率（Feature Coverage）：评估决策过程中各个特征的作用程度。
• 语法距离（Syntactic Distance）：量化规则之间的语法差异。
• 语义距离（Semantic Distance）：量化规则之间的语义差异。

这些指标能够量化符号规则与智能体行为的一致性、特征在决策中的作用，以及策略在训练过程中以及单个/多智能体RL中不同智能体之间的演化。实验在多个RL领域中进行，结果表明：

• 提出的指标能够揭示超出全局回报的动作特定学习动态。
• 它们提供比经典全局特征重要性方法更细粒度的领域特征洞察。
• 在多智能体强化学习（MARL）中，这些指标能够揭示协调、专业化和适应模式。
• 此外，它们为动作特定策略的迁移和泛化提供了关键见解。

关键要点

• 可解释性指标的创新：首次通过ILP提取的符号规则，结合激活率、特征覆盖率、语法距离和语义距离四个维度，系统量化RL策略的可解释性。
• 超越全局回报：传统方法关注累积回报，而本文的指标能捕捉每个动作的学习动态，提供更精细的评估。
• 细粒度特征分析：相比经典全局特征重要性方法（如Shapley值），本文指标能更准确地反映领域特征在决策中的具体作用。
• 多智能体场景下的新洞察：在MARL中，指标可以量化智能体之间的协调、专业化分工以及适应环境变化的行为模式。
• 迁移与泛化支持：通过分析动作特定策略的符号规则，为策略在不同任务/环境间的迁移和泛化提供可解释的依据。

意义与影响

本文的工作在XRL和XAI两个领域都具有重要意义：

• 对XRL领域：提供了客观、可复现的评估指标，弥补了依赖用户研究缺乏统一标准的不足，推动RL可解释性研究走向量化科学。
• 对XAI领域：将逻辑规则的可解释性从常识性讨论提升到可量化层面，为“规则的可解释性”这一开放问题提供了原则性解决方案。
• 实践价值：在安全关键系统（如自动驾驶、医疗决策）中，能够通过符号规则直观理解智能体决策逻辑，并利用指标监控策略演化，提升系统可靠性。
• 未来方向：为基于逻辑的强化学习解释方法开辟了新的评估范式，并可能促进符号规则与神经网络的融合，实现更高效的解释与策略迁移。