可解释强化学习助力自适应交通信号控制
速览
该论文提出一种新的可解释实体中心强化学习框架，将交叉口观测分解为车道实体和相位时序，通过双阶段注意力网络动态提取关系，实现实时亲和矩阵可视化。在微观仿真中，该方法在延迟最小化上超越现有基线，且注意力权重符合交通工程原理，提供可审计的可解释性，为下一代自适应交通信号控制提供可信部署方案。
AI 深度解读
背景
自适应交通信号控制（Adaptive Traffic Signal Control）是智能交通系统的关键环节，旨在根据实时交通流动态调整信号配时，以减少延误、拥堵和排放。强化学习（Reinforcement Learning, RL）因其能从交互中学习最优策略的能力，已成为该领域的主流方法。然而，深度强化学习（Deep RL）模型本质上是黑箱的，其决策过程难以被人类理解。在交通控制这类安全关键基础设施中，黑箱特性带来了以下挑战：交通管理机构难以接受和信任模型输出、难以满足监管合规要求、运维人员无法进行有效的故障排查和参数调优。因此，如何在高性能优化与人类可理解的解释性之间架起桥梁，成为下一代自适应交通信号控制系统落地的核心瓶颈。
核心内容
本文提出了一种新颖的、基于可解释实体中心（Explainable Entity-Centric）的强化学习框架，用于实现安全且透明的自适应交通信号控制。该框架的核心思想是：不再将交通状态处理为单一的扁平向量，而是将实时交叉口观测分解为独立的、高维的车道实体（lane entities）以及相位时间配置（phase temporal configurations），从而在模型内部天然保留交叉口的结构拓扑和几何配置信息。
为了动态提取车道之间的依赖关系与冲突（例如不同方向车流的交织），设计了一个双阶段注意力网络（Dual-Stage Attention Network），其中包含顺序的多头交叉注意力（multi-head cross-attention）和自注意力（self-attention）模块。该网络实时生成一个亲和矩阵（affinity matrix），该矩阵量化了每个信号相位对特定进口道流量和排队长度的影响，从而提供完全的视觉可解释性和分析可解释性——交通工程师可以直接观察注意力权重，理解模型决策背后的因果关系。
为确保严格的操作可靠性，在近端策略优化（Proximal Policy Optimization, PPO）训练管线中直接集成了一个确定性的动作掩码接口（action-masking interface），显式地阻止无效的相位切换（例如从绿灯直接跳到红灯的非法过渡），保证模型输出绝对符合已有的信号配时和安全约束。
在微观交通仿真环境中，该方法在延误最小化指标上超越了多个当前最优（state-of-the-art）基线。更重要的是，模型内生的注意力权重与经典交通工程原理高度一致（例如，当某方向排队长度较长时，对应相位的注意力权重显著升高），这为系统的审计、信任建立和实际部署提供了可量化的依据。
关键要点
- 实体中心化状态表示：将交叉口观测分解为车道实体和相位时间配置，保留空间拓扑结构，避免扁平向量丢失关键结构信息。
- 双阶段注意力网络：顺序使用多头交叉注意力和自注意力，动态提取车道间依赖关系和冲突，输出可解释的亲和矩阵。
- 可解释性即模型特性：注意力权重直接反映信号相位对进口道流量和排队的影响，支持可视化分析和因果推理。
- 确定性动作掩码：在PPO训练过程中嵌入动作掩码接口，强制禁止非法相位切换，确保安全合规绝对满足。
- 性能与可解释性兼得：在微观仿真中延迟指标优于基线，且注意力权重与交通工程原理一致，兼顾优化与信任。
- 面向部署的设计：提供可审计的决策路径，降低交通管理机构对深度强化学习模型的接受门槛。
意义与影响
这项工作的意义在于，它直接回应了深度强化学习在安全关键基础设施中落地的主要障碍——黑箱性。通过将可解释性内嵌到模型架构（而非事后解释），该方法实现了以下突破：
- 信任建立：交通工程师可以直观地检查注意力权重是否与领域直觉一致，从而逐步信任模型决策。
- 合规与审计：亲和矩阵提供了可追溯的证据链，有助于满足交通信号控制中的监管与法规要求。
- 故障排查与调优：当模型表现异常时，可解释性输出能帮助运维人员快速定位问题相位或车道，降低调试成本。
- 范式推广：该实体中心+双阶段注意力的思路可以推广到其他需要结构与关系建模的RL问题（如电网调度、工业控制等）。
- 实际部署可行性：在保持高性能的同时，引入了安全约束强制机制，使得模型更接近生产环境对安全性的严苛要求。
总之，本文展示了一条从“高性能但不可解释”到“高性能且可解释”的可行路径，为下一代自适应交通信号控制系统的实用化奠定了理论基础和实证依据。