行为感知辅助修正：离策略时序差分预测的新视角

背景

在强化学习（Reinforcement Learning, RL）中，时序差分学习（Temporal-Difference Learning, TD）是一种核心的价值函数估计方法。然而，当结合函数近似（Function Approximation，通常指使用神经网络或线性基函数来拟合价值函数）并采用离策略（Off-policy）采样数据时，TD 学习往往面临严重的稳定性问题。离策略采样意味着数据分布与策略正在评估或改进的目标策略分布不一致，这会导致传统的 TD 算法出现“死亡三角”（Deadly Triad）问题，即函数近似、离策略学习和自举（Bootstrapping）三者结合时可能引发的发散或不稳定。

为了解决这一问题，研究者提出了多种改进算法。其中，TDC（Temporal-Difference with Gradient Correction）通过引入一个辅助的协方差修正项来稳定离策略 TD 学习。随后，TDRC（Temporal-Difference with Regularized Covariance Correction）在 TDC 的基础上，进一步通过单时间尺度递归对该修正项进行正则化，从而提高了算法的鲁棒性。

尽管 TDC 和 TDRC 在理论上取得了进展，但它们所使用的辅助矩阵（Auxiliary Matrix）主要基于目标策略的贝尔曼算子几何结构。这篇来自 arXiv cs.AI 的文章（提交于 2026 年 5 月 17 日）提出了一种新的思路：研究在**行为感知（Behavior-Aware）**的线性预测设置下，如何替换辅助协方差几何结构。文章旨在通过分离“行为感知几何”和“正则化”的贡献，深入理解价值函数近似中特征空间动态变化的本质，并为神经网络价值近似中的辅助几何设计提供可处理的模型。

核心内容

本文的核心贡献在于提出了一种基于行为感知（Behavior-Aware）的辅助修正框架，并构建了两种新算法：BA-TDC 和 BA-TDRC。

1. 从 TDC 到 BA-TDC：引入行为贝尔曼矩阵

传统的 TDC 算法使用一个辅助矩阵 $C$ 来修正梯度方向，该矩阵通常与目标策略下的特征协方差有关。本文指出，在理解价值函数近似的局部模型（即线性预测设置）时，特征空间的动态变化是由行为策略（Behavior Policy）和目标策略共同决定的。

作者首先提出将 TDC 中的辅助矩阵 $C$ 替换为行为贝尔曼矩阵（Behavior Bellman Matrix, $A_\mu$）。这里的 $\mu$ 代表行为策略。由此得到的新算法被称为 BA-TDC（Behavior-Aware TDC）。这一替换使得辅助几何结构直接反映了数据采集过程中的行为策略特性，而非仅仅关注目标策略。

2. 从 BA-TDC 到 BA-TDRC：正则化的引入

虽然 BA-TDC 在理论上更加贴合行为分布，但在复杂的强化学习任务中，仅靠行为感知的几何修正可能不足以保证在所有情况下的稳定性。因此，作者在 BA-TDC 的基础上，对相同的“行为感知方程”进行了正则化处理，得到了 BA-TDRC（Behavior-Aware TDRC）。

这种“两步走”的构建策略具有重要的理论意义：它清晰地分离了行为感知几何的贡献与正则化的贡献。这使得研究者可以单独评估行为感知修正本身的有效性，以及正则化在提升鲁棒性方面的作用。

3. 线性分析与神经网络价值近似的启示

文章不仅限于线性模型，还通过线性分析提供了一个可处理的模型，用于解决神经网络价值近似中出现的辅助几何设计问题。在深度强化学习中，特征协方差和时间转移矩阵共同塑造了最后一层修正的动态过程。通过线性近似，作者能够分析这种复杂的联合影响。

4. 理论证明：收敛性与稳定性

为了验证 BA-TDC 和 BA-TDRC 的理论基础，文章给出了有限状态均值系统（Finite-state mean-system）的公式化描述，并进行了严格的数学证明：

• 不动点保持（Fixed-point Preservation）： 证明了在适当的条件下，算法能够保持正确的价值函数不动点。
• 几乎必然收敛（Almost-sure Convergence）： 在实例化均值系统满足**赫尔维茨稳定性条件（Hurwitz Stability Condition）**的前提下，证明了算法的几乎必然收敛性。
• 收敛速率分析： 通过精确线性误差递归谱半径（Spectral Radius）的比较，分析了确定性均值速率，从而量化了不同算法的收敛性能。

5. 实验验证

作者在多个经典基准测试上进行了实验，包括：

• 两状态反例（Two-state counterexample）
• Baird 反例（Baird's counterexample）
• 随机游走（Random Walk）
• Boyan 链（Boyan Chain）

实验结果揭示了一个关键洞察：行为感知修正本身在某些任务上就能带来显著的性能提升，证明了行为几何信息的重要性。然而，在更困难、更复杂的设置下，正则化（即 BA-TDRC 中的正则化项）对于保证鲁棒的跨任务性能是不可或缺的。

关键要点

• 问题动机：离策略 TD 学习结合函数近似时存在不稳定性，现有的 TDC 和 TDRC 算法通过辅助协方差修正来解决此问题，但未充分挖掘行为策略分布对几何结构的影响。
• 核心创新：提出用**行为贝尔曼矩阵（$A_\mu$）**替换 TDC 中的辅助矩阵，构建了 BA-TDC 算法，使辅助几何结构“感知”到数据采集的行为策略。
• 算法演进：在 BA-TDC 基础上引入正则化，得到 BA-TDRC。这种两步构造法成功分离了“行为几何修正”和“正则化稳定”两个独立贡献。
• 理论贡献：
  • 建立了有限状态均值系统模型。
  • 证明了在赫尔维茨稳定性条件下，算法具有不动点保持性和几乎必然收敛性。
  • 通过谱半径分析了收敛速率。
• 实验发现：
  • 行为感知修正（BA-TDC）在部分任务上独立有效，优于传统方法。
  • 在复杂任务中，仅靠行为感知修正不够，必须结合正则化（BA-TDRC）才能实现鲁棒性能。
• 对深度学习的启示：该线性分析框架为深度强化学习中神经网络最后一层的辅助几何设计提供了理论指导，强调了特征协方差与时间转移矩阵的联合作用。

意义与影响

这篇论文在强化学习理论领域具有重要的学术价值，其意义主要体现在以下几个方面：

1. 深化了对离策略学习稳定性的理解：以往的研究多关注如何通过修正梯度或引入正则化来对抗不稳定性，而本文从“几何结构”的角度切入，指出行为策略分布本身蕴含的几何信息（通过行为贝尔曼矩阵体现）对于稳定学习至关重要。这为理解价值函数近似中的特征空间动态提供了新的视角。

2. 提供了可解释的设计范式：通过分离“行为感知”和“正则化”的贡献，文章为算法设计者提供了一套清晰的调试和优化思路。如果一个问题可以通过调整行为感知几何来解决，则无需过度依赖复杂的正则化；反之，如果行为感知不足，则需引入正则化。这种模块化思维有助于开发更高效的强化学习算法。

3. 连接了线性理论与深度强化学习：虽然文章主要基于线性预测设置，但其提出的均值系统分析和赫尔维茨稳定性条件，为理解深度神经网络在强化学习中的收敛行为提供了重要的理论桥梁。特别是在处理高维特征空间时，线性近似往往是理解深层网络动态的第一步，本文的工作为此奠定了基础。

4. 推动了鲁棒强化学习的发展：实验结果表明，结合行为感知和正则化的 BA-TDRC 在复杂任务中表现更佳。这对于实际应用中的强化学习系统（如机器人控制、自动驾驶等）具有重要意义，因为这些场景往往面临分布偏移和噪声干扰，需要算法具备高度的鲁棒性。

总之，本文不仅提出了一种新的算法变体，更重要的是通过严谨的理论分析和实验验证，揭示了行为策略分布在离策略时序差分学习中的核心作用，为后续研究提供了宝贵的理论工具和实验基准。