自我发现规范提升智能体上下文学习性能

背景

大语言模型（LLM）在推理时面临一项新兴挑战——context learning（上下文学习），即模型必须从预训练阶段从未见过的复杂上下文中学习并应用全新的、任务特定的知识。尽管前沿模型在常规任务中表现优异，但在 context learning 场景下，即使是最先进的模型（如 GPT-5.1、Gemini 3 Pro）任务成功率也低于 24%。这一现象引发了研究者的关注：究竟是什么阻碍了模型在推理时获取并利用上下文中的新知识？

核心内容

本研究对 context learning 的困难根源进行了系统性实证分析。研究者首先假设失败源于模型无法有效访问上下文中的内容（content access），为此在 CL-Bench（一个全面的 context learning 基准）上测试了 12 种检索、反思与验证基线方法。结果显示，这些方法相比直接全上下文提示（full-context prompting）的提升极为有限。

进一步的失败分析揭示了一个关键发现：与典型的长上下文任务（如长文档理解）不同，context learning 不仅需要恢复局部内容（content），还需要获取局部规格（local specifications）——即领域特定的格式、局部规则以及完整性条件。这些规格往往在用户查询中未被明确提及，而是分散在上下文各处。研究者对 CL-Bench 中全部 31,592 个评分项（rubric items）进行了标注，发现：

• 55.4% 的评分项明确评估规格获取（specification acquisition）；
• 仅 22.6% 的评分项评估内容获取（content acquisition）；
• 尽管 76.7% 的规格在用户查询中未被指定，但 95.5% 的规格可追溯至上下文，表明这些是可学习的义务（learnable obligations），而非隐藏需求。

基于这一诊断，研究者设计了一个故意简单的干预方法——PSCI（private specification-contract induction，私有规格契约诱导）。该方法首先从上下文中提取局部规格，然后通过对抗性检查（adversarial checking）和修复（repair）来强制执行这些规格。在 CL-Bench 上，PSCI 在 GPT-5.1 上取得了 28.14% 的 SOTA 结果（绝对提升 +5.59 个百分点，相对提升 +24.8%），并在 Qwen3.5-27B（+5.28 个百分点）和 Gemini 3 Pro（+6.17 个百分点）上得到了复现。17 项消融实验进一步分离了任务特定规格的作用。

关键要点

• Context learning 的核心瓶颈并非内容获取，而是规格获取：模型需要从上下文中提取并遵循未显式指定的局部规则、格式和完整性条件，这与传统长上下文理解任务有本质区别。
• 规格普遍存在且可被追溯：在 CL-Bench 中，超过一半的评分项评估规格获取，绝大多数规格虽未在查询中写明，但都可以在上下文中找到，说明它们并非“隐藏”要求，而是模型本应学习的义务。
• 现有方法对规格获取帮助有限：12 种检索、反思与验证基线均未带来显著提升，表明简单的信息检索不足以解决规格获取问题。
• PSCI 方法简单有效：通过“提取规格 + 对抗性检查与修复”的机制，PSCI 在多个模型上实现了稳定且显著的性能提升，且消融实验证实了任务特定规格的重要性。
• 跨模型泛化性：PSCI 在 GPT-5.1、Qwen3.5-27B 和 Gemini 3 Pro 上均取得了一致改进，说明该方法不依赖于特定模型架构。

意义与影响

本研究重新定义了 context learning 的问题本质，将其从“如何从长上下文中找到答案”拓展为“如何从上下文中发现并遵循隐含的局部规则”。这一发现对 LLM 的推理时能力提升具有重要指导意义：

• 对模型设计的启示：未来模型可能需要显式地建模“规格发现”能力，而非仅仅依赖更长的上下文窗口或更复杂的检索机制。
• 对评估基准的启示：CL-Bench 的评分项分析表明，当前基准的评估重点可能已偏离实际瓶颈，未来的评估应更关注规格获取而非内容回忆。
• 对实际应用的借鉴：在需要模型处理复杂文档、领域规则或动态指令的场景（如科研分析、代码审查、法律文书处理）中，PSCI 式的“规格契约诱导”机制可能成为提升可靠性的关键组件。
• 局限与未来方向：PSCI 目前仍是一个简单的干预方法，其泛化到更广泛任务的能力有待验证。此外，如何自动发现并提取规格、如何平衡显式规格与隐性知识，是后续研究的重要方向。