Beyond expert users: agents should help users construct preferences, not just elicit them

背景

当前，AI Agent（智能体）在协助用户完成任务时，普遍建立在一个核心假设之上：用户是“专家”，即用户已经对自己想要什么形成了明确且完整的偏好。基于这一假设，当用户的指令不够具体时，Agent 的默认策略往往是抛出“澄清性问题”（Clarifying Questions），试图从用户那里挖掘出更多偏好细节。

然而，在真实的交互场景中，这种假设往往是不成立的。用户经常处于“不知道自己不知道”的状态，缺乏足够的领域知识来完整描述自己的需求。例如，当被问及某种面料的特性或某种专业参数时，用户根本无法给出有意义的偏好回答，除非 Agent 先帮助用户理解这些概念。现有的 Agent 交互范式过度偏好的“挖掘”，而忽视了偏好的“构建”。

核心内容

本文指出，Agent 不应仅仅假设用户是专家并挖掘其既有偏好，而应帮助用户在交互过程中构建偏好。

作者从信息经济学中经典的“搜索-体验-信任品”（Search-Experience-Credence）框架汲取灵感，提出了 CoPref 模型。该模型形式化了用户如何基于 Agent 的对话行为来构建偏好：当用户缺乏领域知识时，Agent 不能简单地询问偏好，而必须通过提供示例、解释等“教学”行为，帮助用户获取形成偏好所必需的领域知识。

为了在具体场景中验证这一理念，作者构建了 CoShop 这一交互式基准，专门用于评估 Agent 在推荐系统场景下的表现。在 CoShop 中，Agent 需要与一个遵循 CoPref 模型的用户进行对话并为其提供推荐。Agent 的绩效不再仅仅取决于它能否找到符合要求的商品，而取决于它能否帮助用户获得充分指定任务所需的知识。

作者在 CoShop 上评估了五个前沿大模型（Frontier Models），结果令人深思：尽管给予了 5 轮交互的机会，没有任何一个 Agent 的推荐准确率超过 56%。进一步分析表明，Agent 的失败并非源于其搜索或匹配商品的能力不足，而是因为交互过程未能有效扩展用户对“自身需求”的认知。Agent 依然停留在传统的澄清性提问上，而没有真正帮助用户构建起对领域知识的理解，导致用户始终无法明确自己的偏好。