HyPOLE: Hyperproperty-Guided Multi-Agent Reinforcement Learning under Partial Observation

HyPOLE：基于超属性指导的部分可观测多智能体强化学习

背景

多智能体强化学习（MARL）在解决复杂协作与博弈问题中展现出巨大潜力，但在实际应用中，智能体往往处于部分可观测环境中，且面临着奖励函数难以设计的挑战。传统的奖励塑形虽然能提供学习信号，但缺乏数学严谨性，难以精确表达复杂的目标与约束，也无法直接定义达成目标所需的高级策略。形式化规约作为一种严谨的数学工具，能够克服奖励塑形的这些缺陷，但其在 MARL 领域的应用潜力尚未被充分挖掘。

核心内容

本文提出了 HyPOLE，一种在部分可观测条件下基于超属性指导的新型多智能体强化学习框架。

论文指出，形式化规约在指导学习过程时相比奖励塑形具有三大显著优势：(1) 具备数学严谨性；(2) 拥有强大的表达能力来指定目标与约束；(3) 能够定义达成目标的策略。然而，这些优势在 MARL 背景下仍未得到充分探索。

HyPOLE 的核心创新在于利用超属性的表达能力来指导学习过程，特别是引入了时序逻辑 HyperLTL 作为规约语言。通过这种方式，框架能够更精确地刻画多智能体系统中复杂的交互逻辑与全局约束。

在算法架构上，HyPOLE 将集中式训练分布式执行（CTDE）技术与超属性指导相结合。这种集成使得框架能够在训练阶段利用全局信息进行集中式优化，同时合成出可在实际部署中独立运行的分布式（去中心化）策略。

为了验证框架的有效性，研究团队在 SMAC、MessySMAC 和 WildFire 三个基准测试上对 HyPOLE 进行了评估。实验结果表明，HyPOLE 相较于现有的基线方法展现出了明显的性能优势。

关键要点

• 框架名称：HyPOLE，专为部分可观测环境下的多智能体强化学习设计。
• 核心机制：引入超属性及时序逻辑 HyperLTL 作为形式化规约，替代或增强传统的奖励塑形，以提供更严谨、更具表达力的学习指导。
• 规约优势：形式