非平稳环境中上下文强化学习综述
速览
这篇论文综述了非平稳环境下上下文强化学习的研究进展，探讨了决策模型如何在不更新参数的情况下通过上下文推理适应环境变化。文章从变化对象、变化方式、可观测性三个维度组织文献，并讨论了与元强化学习、决策序列建模等方向的关系。该工作对推动适应动态环境的智能体发展具有意义。
AI 深度解读
背景
近年来，基于决策预训练的 Transformer、算法蒸馏（Algorithm Distillation）、长上下文元强化学习（Long-Context Meta-RL）以及检索增强智能体（Retrieval-Augmented Agents）等技术，重新点燃了学术界对 In-Context Reinforcement Learning（ICRL） 的兴趣。ICRL 的核心思想是：一个预训练或微调过的决策模型，无需在测试时更新参数，仅凭交互上下文（包括试错证据、奖励、状态转移、示范、反馈或检索到的经验）就能推断潜在的任规则，并据此改进未来行为。这种范式试图让“学习”般的计算过程发生在上下文窗口内部，而不是通过显式的参数梯度更新。
然而，现有的 ICRL 综述大多围绕预训练目标、架构、上下文格式、评估协议和理论机制来组织领域进展，而对非平稳（Non-Stationary）环境下的 ICRL 研究相对不足。在环境发生动态变化时，积累的上下文不再仅仅是关于一个固定任务的额外证据——奖励规范、转移核、观测通道、动作接口、约束模型、示范或记忆分布都可能与当前规则脱节。因此，先前有用的上下文可能变得过时、产生误导，甚至当旧规则重新出现时再次变得有用。理解非平稳环境下的 ICRL，对于将这类方法部署到真实世界的动态场景至关重要。
核心内容
本综述将 非平稳 ICRL 形式化为一个核心问题：在部署策略参数保持固定的前提下，智能体如何通过上下文来适应环境的变化？具体来说，策略必须同时完成两项推断：（1）当前时刻的决策规则是什么；（2）已积累的证据中，哪些部分仍然支持该规则。
为了系统梳理已有工作，作者首先将非平稳 ICRL 与相关领域建立联系：
- 元强化学习（Meta-RL）：元 RL 通常假设任务从一个分布中采样且每个任务内平稳，而非平稳 ICRL 则允许环境在交互过程中持续变化。
- 决策序列建模（Decision Sequence Modeling）：如 Decision Transformer 等模型，将离线序列作为上下文，但在非平稳下需要额外的机制来处理上下文漂移。
- 检索增强 RL（Retrieval-Augmented RL）：通过检索相关经验片段来扩展上下文，但检索出的记忆在非平稳环境下可能过时。
- 价值感知与模型感知的 ICRL（Value- and Model-Aware ICRL）：显式建模奖励或转移动态变化的方法，以及它们如何与上下文窗口交互。
- 奖励反馈智能体（Reward-Feedback Agents）：通过外部反馈（如人类偏好）来调整行为，但反馈本身也可能受非平稳性影响。
进一步地，文献按照三个核心问题组织：
- What changes?（什么在变化？） 包括奖励函数、状态转移、观测分布、动作空间、约束条件、示范/记忆分布等不同维度的非平稳性。
- How does the change unfold?（变化如何展开？） 即变化的时序模式：是突然切换、渐变、周期性回归、还是对手环境下的对抗性变化？
- How observable is the change to the agent?（变化对智能体可观测程度如何？） 指智能体是否能够直接感知到变化的发生（例如通过变化检测信号），还是只能从上下文数据中间接推断。
通过这三个维度，综述不仅总结了现有方法如何应对非平稳性，也指出了尚未被充分探索的空缺——例如，大多数工作仍假设变化是突然且可明显观测的，而对渐变、隐式变化以及多个维度同时变化的场景研究不足。
关键要点
- ICRL 的核心能力：无需测试时参数更新，仅靠上下文窗口内的历史信息（奖励、状态、动作等）来推断当前任务规则并改进策略。
- 非平稳性的特殊挑战：在动态环境中，上下文可能“过时”或“误导”，智能体必须同时识别当前规则和筛选有效历史证据。
- 与 Meta-RL 的区别：Meta-RL 通常假设任务间独立且平稳，而非平稳 ICRL 关注连续交互中规则在同一轨迹内的变化。
- 三个组织维度：What changes（变化对象）、How it unfolds（变化模式）、How observable（变化可观测性）——构成了系统梳理文献的新框架。
- 现有研究空白：对渐变、周期性回归、多维度同时变化等复杂非平稳模式的研究较少；变化可观测性对算法设计的影响也尚未被充分挖掘。
- 上下文利用的双刃剑：积累的上下文越多，在平稳环境下越有利于推理，但在非平稳下可能引入噪声甚至反向误导。
意义与影响
该综述首次将 非平稳性 作为专门视角引入 ICRL 领域，填补了现有综述（多聚焦于预训练目标与架构）的空白。它为未来研究提供了一个清晰的分类图谱，帮助研究者快速定位自己工作的切入点：是解决哪些维度变化？采用哪种变化模式？假设多少可观测性？这种结构化框架有助于避免重复造轮子，并促进跨任务、跨方法的对比。
从应用角度看，真实世界中的决策问题几乎总是非平稳的——机器人磨损、用户偏好漂移、经济环境变化、对抗性干扰等。该综述强调了“策略参数不变，上下文自适应”这一低开销、高效率的适应范式，对于部署在资源受限或需要快速响应的场景具有潜在价值。
此外，综述中对 检索增强 与 非平稳 ICRL 的关联分析，提示了记忆管理（如遗忘旧经验、检测状态回归）在长期交互中的重要性。这些洞见可能启发未来的设计：如何在上下文窗口内自适应地“压缩”或“重置”历史信息，从而在计算效率和规则跟踪准确性之间取得平衡。最终，这项工作为将 ICRL 从玩具环境推向真实动态系统提供了基础性的理论地图。