PredicateLongBench系统探索长上下文任务多维难度轴

背景

大型语言模型（LLM）在长上下文处理能力上取得了快速进步，这催生了一波专门用于评估该能力的基准测试。然而，现有的长上下文评测——从“大海捞针”（Needle-in-a-Haystack, NIAH）测试，到近期的多跳推理和摘要任务——大多衡量的是平均表现。许多基准要么已经饱和（模型轻松通过），要么缺乏鲁棒性。尤其缺失的是一种系统化的方法，能够探测模型在沿不同难度轴逐步提升任务难度时的表现。现有评测无法暴露出模型在极端或特定维度下的真实短板。

核心内容

为填补这一空白，作者提出了 PredicateLongBench，一个用于压力测试长上下文推理的基准。该基准的核心任务是：在一个长输入中，要求模型找出满足给定谓词（predicate）或约束（constraint）的最长连续子序列（contiguous subsequence of words）。例如，谓词可以是“单词按字典序排列”这类条件，并且这些谓词来自一个更广泛的谓词类（predicate class）。

PredicateLongBench 的创新之处在于，它识别并系统性地探索了多个不同的难度轴（axes of difficulty），这些轴从不同角度测试长上下文理解能力。例如，可以改变谓词的复杂度、子序列的长度、输入文本的分布特性等，从而构造出难度递增的任务。

基准提供了两条互补的生成管线（generation pipelines）：

• 全合成管线：使用随机的类单词字符串（random word-like strings），完全控制变量，排除自然语言中的潜在偏差。
• 真实世界管线：从自然文档中采样单词，同时保留其分布特性（例如词频、共现模式），使得任务更贴近实际场景。

实验结果显示，当前最前沿的模型（frontier models）在沿各个难度轴提升任务难度时，表现显著下滑，很难达到良好性能。这表明 PredicateLongBench 能有效揭示现有长上下文能力的局限性。值得注意的是，尽管任务具有挑战性，但其概念上很简单——不需要依赖 LLM 生成内容或使用 LLM 作为评判者（no LLM-based generations or judges），因此评测结果更加客观、可重复。

关键要点

• 现有基准的不足：大多数长上下文评测关注平均表现，缺乏系统性难度缩放，且部分基准已经饱和或鲁棒性差。
• PredicateLongBench 的核心设计：通过“找出满足给定谓词的最长连续子序列”这一简洁任务，构建可控的难度梯度。
• 多维度难度轴：首次系统性地识别并探索多个独立的难度方向（如谓词类型、序列长度、数据分布），从而全面测试模型的长上下文理解能力。
• 双生成管线：全合成与真实世界两种管线互补，既保证了变量可控性，又保留了真实数据的统计特性。
• 无需 LLM 参与生成或评判：任务完全基于规则，避免了 LLM 自我评估带来的偏差，评测结果更可靠。
• 前沿模型表现挣扎：在难度提升时，当前最强模型也表现不佳，揭示了现有长上下文能力的根本限制。

意义与影响

PredicateLongBench 为长上下文评测提供了一种全新的思路——从“平均性能”转向“压力测试”。它通过引入可量化的难度轴，使得研究者能够精确地定位模型在哪些方面存在瓶颈（例如，是难以处理复杂约束，还是无法在超长上下文中保持局部连贯性）。这一基准的提出，不仅有助于更深入地理解当前 LLM 在长上下文场景下的能力边界，也为未来模型的改进指明了方向。此外，其任务设计不依赖 LLM 本身，避免了“用 LLM 测 LLM”的循环论证问题，提升了评测的公正性。整体而言，PredicateLongBench 是长上下文能力评估领域一个重要且实用的补充工具。