ASK+：用轨迹感知上下文提升部分观测下LLM辅助效果
速览
在部分可观测环境中，传统不确定性门控的LLM辅助几乎无法贡献有效动作（覆盖率为零），原因是提示过于自我中心、缺乏语境。本文提出ASK+，为小型语言模型提供轨迹感知上下文（局部地图、访问位置、动作历史）和结构化思维链，将被动冗余检查转变为主动的信息顾问。在DoorKey、FourRooms等环境中，ASK+成功率从匹配PPO的89%提升至93%，部分任务接近SLM理论上限。实验还表明，提示设计与选择性门控比模型规模更关键，Qwen3.5-2B即可匹敌4B版本。
AI 深度解读
背景
强化学习（RL）代理在部分可观测环境（POMDP）中必须基于不完整的信息做出决策，这使其天然适合从小语言模型（SLM）获得指导——后者携带广泛的推理先验。然而，将SLM指导整合到此类环境中一直困难重重：在所有测试环境中，原始的 uncertainty-gated（不确定性门控）方法的重写率（overwrite rate）都趋近于零，意味着SLM几乎从未贡献过独立动作。本文将此失败归因于“裸自我中心提示”（bare egocentric prompt）——它提供的上下文不足以支撑真正的推理，并指出这是一个上下文问题（context problem）而非能力问题（capacity problem）。
核心内容
本文提出 ASK+ 方法，旨在解决上述困境。ASK+ 向SLM提供 轨迹感知上下文（trajectory-aware context）：包括部分揭示的地图、已访问的位置和动作历史，并辅以 结构化思维链推理（structured chain-of-thought reasoning）。这使得SLM从被动的冗余检查（redundancy check）转变为更具信息量的顾问（consultant），偶尔纠正策略的路径。
作者进一步论证，用于选择性查询（selective querying）的预测熵信号（predictive entropy）衡量的是 动作不确定性（action uncertainty）而非状态不确定性（state uncertainty），并且在POMDP中仍然具有信息量——这使 uncertainty-gated 辅助在完全可观测之外的环境中也变得可行。
实验部分展示了ASK+带来的显著提升：
- 在 DoorKey 环境中，原始 ASK（vanilla uncertainty-gated）匹配PPO的89%成功率，而ASK+达到93%。
- 在 FourRooms 中，成功率从53%攀升至70%。
- 在 HigherLower 中，准确率达到73.7%，与仅使用SLM的上界（SLM-only upper bound）持平。
- 在所有环境中，Qwen3.5-2B 匹配或超越了 Qwen3.5-4B，证实提示设计（prompt design）和选择性门控（selective gating）对效果的影响远超模型规模，从而实现了无需使用大模型即可获得有效指导。
关键要点
- 原始问题：在部分可观测强化学习中，vanilla uncertainty-gated 方法因提示上下文不足导致SLM几乎从不覆盖策略动作（overwrite rate near zero）。
- 根本原因：是上下文问题而非模型能力问题——自我中心提示缺乏轨迹信息，无法支撑有效推理。
- 解决方案：ASK+ 通过提供轨迹感知上下文（部分地图、位置、动作历史）和结构化思维链，将SLM激活为具备主动纠正能力的顾问。
- 理论贡献：明确预测熵在POMDP中度量的是动作不确定性而非状态不确定性，为 uncertainty-gated 方法在部分可观测环境中的有效性提供了理论依据。
- 实验结果：DoorKey 93%（+4%）、FourRooms 70%（+17%）、HigherLower 73.7%（达SLM上限）；小模型（Qwen3.5-2B）表现不逊于大模型（Qwen3.5-4B），提示设计与门控机制主导效果。
意义与影响
ASKN+ 的提出重新定义了SLM在部分可观测RL中的角色：从被动的冗余检查器转变为主动的、基于上下文的策略顾问。其关键见解——prompt设计和选择性门控比模型规模更重要——对当前追求大模型的趋势提出了有力修正：在许多任务中，精心设计的提示配合中等规模模型即可达到甚至超越大模型的效果。这对于资源受限的场景（如边缘设备、实时系统）意义重大，因为小模型推理成本低、部署灵活。此外，该方法不依赖全知的状态信息，适用于更多现实世界中的部分可观测决策问题（如机器人导航、游戏AI）。未来的工作可进一步探索如何自动学习最优的轨迹上下文表示，以及如何将SLM的推理与RL策略的探索-利用权衡进行更紧密的联合学习。