新基准APeB评测大模型代理个性化能力

背景

随着大型语言模型（LLM）被广泛用于构建自主 Agent，一个核心挑战逐渐浮现：当用户提出原始、不明确的查询（raw, underspecified queries）时，这些 Agent 难以实现真正的个性化。在这样的场景下，Agent 需要推断用户的潜在意图、从嘈杂的历史交互记录中提取偏好，并在多个竞争选项之间做出选择。然而，现有的基准测试很少系统评估这一能力——它们通常依赖用户已经优化过的查询或过于简化的用户历史。为了填补这一空白，该工作引入了一个专门测试 Agent 在原始查询和多样化用户历史背景下进行个性化能力的新基准。

核心内容

该论文提出了 Personalized Product Search (PPS)，一个用于 Agent 个性化能力的测试平台，并基于此构建了 Agent Personalized Benchmark (APeB)。APeB 从真实的行为日志中构造测试样本，将不明确的意图（underspecified intents）与丰富的用户历史记录以及用户实际浏览过的候选物品配对。每个测试样本要求 Agent 在给定历史交互和原始查询的情况下，从候选物品中选出最符合用户个性化需求的一项。

研究者在 APeB 上评估了多个最先进的 LLM（包括一些支持多步 Agent 工作流的模型），主要发现如下：

• 模型在处理明确的显式查询时表现良好，但在处理早期阶段、需要同时进行意图发现和偏好推断的原始查询时表现显著下降。
• 通过详细的评分标准（rubric）分析，这种性能差距主要归因于模型未能有效利用用户历史信息。
• 作为缓解方案，作者提出了一种简单的历史感知查询精炼管道 VQRA（History-Aware Query Refinement Pipeline），通过先利用用户历史对原始查询进行重写和补充，再执行后续推理。实验表明，VQRA 能够带来一致的性能提升，这凸显了在个性化 Agent 中开发专门的历史利用模块的必要性。

关键要点

• 问题定义：LLM Agent 在原始、未优化的用户查询下进行个性化决策时面临巨大挑战，现有基准大多回避了这一场景。
• 新基准 APeB：基于真实行为日志构建，包含不明确意图、丰富用户历史以及用户实际看过候选物品，专门测试 Agent 的个性化推理能力。
• 主要发现：当前 SOTA 模型对显式查询处理良好，但在需要从历史中推断意图和偏好的早期查询上表现不佳。
• 失效原因：评分分析指出，核心瓶颈是模型对用户历史信息的利用效率低下，而非推理逻辑本身。
• 解决方案 VQRA：一个轻量级的查询精炼管道，利用历史信息重新表达用户查询，为后续 Agent 推理提供更明确的上下文，带来稳定收益。
• 启示：个性化 Agent 的未来发展需要将注意力从模型推理能力转向专门的历史信息编码与融合模块。

意义与影响

该工作对 LLM Agent 个性化的研究方向具有重要推动作用。首先，APeB 提供了一个更贴近真实用户场景的评测工具，推动社区从“用户说清楚”的理想假设转向“用户说不清楚”的实战挑战。其次，通过量化分析模型在不同查询类型上的表现差异，并指出历史利用是当前系统的短板，为解决方向提供了明确指引。最后，VQRA 作为第一个简单有效的基线，证明了即使不修改 Agent 核心架构，仅通过预处理阶段的查询精炼就能显著改善个性化效果，这为后续更复杂的历史-推理融合模型的设计留下了宝贵空间。该基准与解决方案有望成为个性化 Agent 领域的重要参考标准。