Ecom-RLVE：为电商对话代理构建自适应可验证环境

背景

大型语言模型（LLMs）虽然能够进行流畅的对话，但在将其部署为购物助手时，暴露出一个持久的差距：流畅性不等于任务完成度。

在真实的电商场景中，用户的需求往往复杂且多约束。例如，当用户询问“帮我找一个25美元以下、两天内发货的USB-C充电器”时，代理不仅需要调用正确的目录搜索工具，还需要过滤三个硬性约束，避免 hallucination（幻觉）出从未检索过的产品ID，并在首选商品缺货时处理后续对话。

传统的监督微调（SFT）可以通过演示教授表面层面的工具使用，但无法扩展到电商所需的组合约束空间、部分信息对话以及多步骤交易工作流。

为了解决这一问题，研究者引入了带有可验证奖励的强化学习（RLVR）。其核心思想是让代理优化结果（产品是否满足约束？购物车是否正确？退货是否针对正确的订单行？）。然而，构建既具有可验证性（避免LLM-as-a-judge的主观性）又具有自适应难度（难度随策略能力提升而增长）的奖励函数极具挑战性。

此前，RLVE-Gym 提供了400个用于排序、乘法、数独等算法推理任务的环境，但这些都是单轮、文本输入/文本输出的谜题。将其扩展到代理式领域（Agentic Domains）曾被视为未来工作。Ecom-RLVE 填补了这一空白，将验证机制扩展到了多轮、工具增强型的电商对话中。

核心内容

1. EcomRLVE-GYM 框架概览

EcomRLVE-GYM 是一个包含 8个可验证环境 的框架，旨在模拟真实的电商交互场景。每个环境都具备程序化问题生成、12轴难度课程以及算法可验证的奖励机制。

这8个环境涵盖了：

1. 产品发现 (Product Discovery)
2. 产品替代 (Substitution)
3. 购物车构建 (Cart Building)
4. 退货处理 (Returns)
5. 订单追踪 (Order Tracking)
6. 政策问答 (Policy QA)
7. 捆绑规划 (Bundle Planning)
8. 多意图旅程 (Multi-intent Journeys)

在这些环境中，代理必须采取行动（调用工具、修改世界状态），而不仅仅是推理（生成文本答案），以弥补搜索系统的不足。所有信号均可通过访问隐藏真实目标（Ground-truth goal）的程序进行评估，无需人工标注或LLM裁判。

2. 训练回合与奖励机制

在一个典型的训练回合中（以难度 $d=4$ 为例），环境生成一个隐藏目标，模拟用户发起聊天，代理需使用工具满足请求。每一步操作都由代码算法验证。

奖励由代码完全计算，包含三个部分：

• 任务奖励 (Task Reward)：代理是否真正完成了目标？（例如：是否推荐了正确的产品、购物车是否正确、是否追踪了正确的订单？）
• 效率奖励 (Efficiency Reward)：代理是否在较少的回合内完成？用户引起的回合（如询问后续、确认操作）不计入代理的惩罚，只有代理错误引起的回合才计入。
• 幻觉惩罚 (Hallucination Penalty)：代理是否只推荐了其在会话期间实际检索到的产品？推荐从未查找过的产品ID会被惩罚，防止代理凭空捏造结果。

此外，无效输出（如格式错误的JSON、非法工具调用）会触发即时失败分数，促使代理从一开始就生成结构良好的响应。

3. 自适应难度课程 (Adaptive Difficulty Curriculum)

难度由单一数字 $d$ 控制，同时调节任务的12个独立方面。电商对话的难点是多维度的，单一维度的难度调整不足以模拟真实复杂性。

12个难度轴包括：

• 4个代表性轴：约束数量、变体选择、上下文切换、检索深度。
• 其他8个轴：回合预算、输入噪声（拼写错误、俚语）、上下文切换、检索深度、订单历史大小、政策复杂性、工具预算等。

自适应调度机制： 每个环境独立跟踪代理的成功率。只有当代理在当前的难度级别上可靠地通过测试时，才会进入更难的题目。这种机制确保训练始终处于代理的能力前沿，避免“太简单无法学习”或“太难无法进步”。

4. 深度解析：购物车构建 (E_CART)

购物车构建是一个极佳的展示案例，因为它要求完整的“搜索 -> 检查 -> 澄清 -> 行动”循环，具有二元真值，并引入了大多数推荐基准测试中缺失的挑战：变体选择 (Variant Selection)。

代理需具备的五项技能：

1. 搜索目录找到产品。
2. 调用 catalog.get_variants 查看可用选项。
3. 添加正确的 (product_id, variant_id, qty) 元组到购物车。
4. 处理变体不匹配的情况。
5. 处理数量 > 1 的情况。

变体数据合成： 真实的产品目录变体数据稀疏。为了创造更丰富的区分任务，系统在回合初始化时合成变体：

• 按类别优先级选择最自然的属性进行变化（电子产品 -> 连接器类型；服装 -> 尺寸；厨房用品 -> 材料）。
• 为每个目标产品生成3个变体：1个目标变体 + 2个合理的干扰项。例如，“Anker 65W USB-C充电器”会产生 {USB-C, Lightning, HDMI} 变体。
• 验证器检查复合键 (product_id, variant_id) —— 产品正确但变体错误意味着不匹配。

难度扩展示例：

• $d=0$：代理添加单个产品，无变体复杂性，学习基本的 catalog.search -> cart.add 工作流。
• $d=6$：代理需处理3件商品，几乎所有商品都需要特定变体，且一半需要数量 > 1。

轨迹对比： 在 $d=1$ 时，代理可能在3个干净的回合内完成任务。但在 $d=8$ 时，代理可能会陷入螺旋式错误：选错颜色（竹子色而非炭黑色）、选错尺寸（XL而非XS），尽管用户纠正了两次，代理仍未修复空气炸锅的选择，最后甚至幻觉称该变体不存在。这种多步骤错误级联正是难度课程所揭示的，也是自适应训练旨在教会代理恢复的关键。

5. 用户模拟与训练结果

为了构建可验证环境，需要一个行为逼真的用户模拟器。该项目使用 Qwen3.5 (9.7B) 作为用户模拟器。

研究者使用 DAPO 算法在 Qwen 3 8B 模型上进行了300步的训练。早期结果表明，环境规模的扩展和自适应难度的调整可以转移到代理式的真实任务完成中。

关键要点

• 从单轮到多轮代理式交互：Ecom-RLVE 将 RLVE 框架从单轮推理谜题扩展到了多轮、工具增强型的电商对话，要求代理主动采取行动而非仅生成文本。
• 完全算法化的可验证奖励：摒弃了主观的 LLM-as-a-judge，所有奖励（任务完成、效率、幻觉检查）均由代码根据隐藏的真实目标计算，确保了评估的客观性和准确性。
• 12轴自适应难度课程：通过单一难度参数 $d$ 同时控制12个维度的复杂性（如约束数量、变体、噪声等），并根据代理的成功率动态调整难度，确保持续处于能力前沿训练。
• 变体选择作为核心挑战：在购物车构建环境中，通过合成变体数据（如不同接口、颜色、尺寸），强制代理学习精确的变体匹配，解决了真实电商中稀疏变体数据带来的挑战。
• 幻觉抑制机制：通过惩罚推荐未检索产品ID的行为，强制代理依赖实际检索结果，有效减少了幻觉现象。
• 实证效果：在 Qwen 3 8B 模型上的初步训练结果显示，该方法能有效提升代理在复杂、多步骤电商任务中的表现和恢复能力。

意义与影响

Ecom-RLVE 的提出标志着电商 AI