Behavior-Induced Mirror-Prox Temporal-Difference Learning for Faster Off-Policy Prediction

背景

在强化学习（Reinforcement Learning, RL）中，策略评估（Policy Evaluation）是核心子问题，旨在计算给定策略下的状态价值函数。当状态空间巨大或连续时，通常采用线性函数近似来压缩状态表示。然而，在**离策略（Off-Policy）**设置下，即数据由行为策略（Behavior Policy）生成，而我们需要评估的目标策略（Target Policy）不同，传统的时序差分（Temporal-Difference, TD）学习算法往往面临稳定性差、收敛慢甚至发散的问题。

为了解决这一问题，基于梯度的时序差分方法（Gradient TD methods，如 GTD2、TDC）被提出。这类方法通过引入辅助变量和最小化均方贝尔曼误差（MSBE），实现了离策略预测的稳定性。然而，这些方法的实际性能强烈依赖于**辅助变量度量（Auxiliary-variable metric）**所诱导的几何结构。

现有的 Mirror-Prox TD 方法通常使用特征协方差矩阵作为度量，而混合 TD（Hybrid TD）方法的研究表明，引入行为策略的转移信息可以提供更具信息量的更新几何结构。本文正是在此背景下，提出了一种新的行为诱导的 Mirror-Prox 时序差分方法，旨在优化优化几何结构，从而加速离策略预测的收敛速度。

核心内容

本文提出了一种名为 STHTD-MP（Behavior-Induced Mirror-Prox Temporal-Difference）的新算法。该算法的核心创新在于重新定义了原始-对偶鞍点问题（Primal-dual saddle-point formulation）中的度量矩阵。

1. 算法机制：从协方差到行为策略贝尔曼矩阵

传统的 Mirror-Prox TD 方法通常使用特征协方差矩阵来定义度量空间。STHTD-MP 则提出使用**行为策略贝尔曼矩阵的对称部分（Symmetric part of the behavior-policy Bellman matrix）**来替代协方差度量。

这一改变利用了行为策略的转移动力学信息，旨在构建一个更优的优化几何结构，使得在离策略数据分布下，价值函数的更新方向更加精准。

2. 统一学习率与 Mirror-Prox 步骤

STHTD-MP 保持原始变量（价值参数）和辅助变量使用单一的学习率（Single learning rate）。算法对由此产生的混合鞍点算子应用 Mirror-Prox 预测-校正步（Prediction-correction step）。

Mirror-Prox 是一种用于解决单调变分不等式的优化技术，通过预测步和校正步的结合，能够有效处理非对称算子带来的收敛困难，比标准的梯度投影方法具有更好的收敛性质。

3. 收敛性分析

文章在标准随机近似假设下，对固定策略线性预测的收敛性提供了形式化分析：

• 正定性：行为诱导度量是正定的（Positive definite）。
• 稳定性：联合均值系统（Joint mean system）是赫尔维茨稳定（Hurwitz）的。
• 有界性：通过李雅普诺夫（Lyapunov）论证证明了变量的有界性。
• 收敛性：利用常微分方程（ODE）方法证明了随机递归的收敛性。

4. 理论界限与对比

文章进一步推导了投影预言机遍历间隙界限（Projected-oracle ergodic gap bounds），并基于确定性 Mirror-Prox 误差矩阵的谱半径（Spectral radius），与 GTD2-MP 进行了精确的均值算子对比。

分析表明，当行为诱导度量改善了鞍点几何结构时，STHTD-MP 可以拥有比 GTD2-MP 更小的均值收缩因子（Mean contraction factor），这意味着更快的收敛速度。

5. 数值验证

在两个状态、随机游走（Random Walk）和 Boyan Chain 基准测试上进行的精确数值均值算子分析支持了上述理论条件。此外，文章指出 Baird's counterexample 是一个奇异边界情况，在该情况下严格假设失效，这为理解算法的局限性提供了重要视角。

关键要点

• 核心创新：提出 STHTD-MP 算法，用行为策略贝尔曼矩阵的对称部分替代传统的特征协方差度量，以优化离策略学习的几何结构。
• 算法优势：通过引入行为策略的转移信息，构建了更具信息量的更新几何，理论上可实现比现有 Mirror-Prox TD 方法（如 GTD2-MP）更快的收敛速度。
• 统一参数：算法在原始变量和辅助变量之间使用单一学习率，简化了超参数调优过程。
• 理论保证：在标准随机近似假设下，证明了算法的收敛性，包括度量的正定性、系统的赫尔维茨稳定性以及基于 ODE 方法的收敛证明。
• 性能对比：理论分析和数值实验表明，在满足特定几何改善条件时，STHTD-MP 的均值收缩因子小于 GTD2-MP。
• 边界案例：明确了 Baird's counterexample 为算法严格假设失效的奇异边界情况，指出了算法适用的边界条件。

意义与影响

这项工作对强化学习中的策略评估领域具有重要意义：

1. 提升离策略学习效率：离策略学习是离线强化学习和安全关键应用中的核心挑战。STHTD-MP 通过优化优化几何结构，提供了比现有方法更快的收敛速度，有助于在实际应用中减少训练时间和数据需求。
2. 深化对度量几何的理解：文章强调了辅助变量度量在梯度 TD 方法中的关键作用，并证明了利用行为策略动力学信息（而非仅依赖特征统计信息）可以显著改善优化性能。这为未来设计更高效的 TD 算法提供了新的理论视角。
3. 理论严谨性：提供了完整的收敛性分析和与主流算法（GTD2-MP）的严格对比，增强了该类算法在实际部署中的可信度。
4. 实践指导：通过识别 Baird's counterexample 等边界情况，为研究人员和工程师在使用此类高级 TD 方法时提供了重要的警示和参考，帮助避免在不适用的场景下盲目应用。

总之，STHTD-MP 代表了离策略时序差分学习在理论分析和算法设计上的重要进展，为构建更稳定、更高效的强化学习系统提供了有力的工具。