阿里获AI顶会最佳论文奖 提出Agent评测新范式

背景

国际计算语言学协会（ACL）成立于1962年，是自然语言处理和计算语言学领域历史最悠久、最具权威性的国际学术组织。在学术评价体系中，ACL长期位居谷歌学术计算语言学子领域的h5-index影响力榜首，是大模型、Agent等前沿技术的核心论文首发阵地。ACL 2026共收到12148篇投稿，仅19%被主会录用，最终仅有4篇论文获评最佳资源论文奖（Best Resource Paper）。阿里研究团队在Deep Research Agent方向的研究成果从全球一万多篇投稿中脱颖而出，获评该奖项，是国内唯一获得该奖项的中国公司。

核心内容

该论文首次系统揭示了当前Agent在真实世界复杂规则推理中面临巨大缺陷，并提出了全新的专家Agent评测基准——HSCodeComp。该基准以商品出口所需的10位海关编码（HS Code）为切入点，要求Agent像资深关务专家一样，将商品模糊的属性与严格的关税归类规则对齐，为商品精准映射到10位细分编码。

研究团队对14个主流大模型和9个先进Agent框架进行了全面评测。测试结果显示，表现最好的Agent系统准确率仅为45%左右，远低于人类专家95%的准确率。更值得注意的是，研究发现单纯堆更多推理时间（inference-time scaling）并不能显著缩小这道鸿沟，这意味着问题并非“算力问题”，而是Agent架构本身的结构性瓶颈。

该研究进一步揭示了导致Agent系统缺陷的三个主要原因：过长的推理链导致Agent在中途偏离正确路径；领域知识不足导致规则误用；推理幻觉造成Agent生成缺乏事实依据的分类判断。这些发现为Agent能力提升指明了方向。

在HSCodeComp基准测试中，阿里设计的基于Qwen基座模型的Agent框架准确率达到65.0%，稳居AI系统第一位。目前，HSCodeComp基准的数据集与评测代码已在Hugging Face和GitHub全面开源。

ACL评审委员会表示：“该基准切中了Agent应用的高度重要挑战——考察Agent对严格层级化自然语言规则的遵循能力，研究动机极具说服力；严谨的人类专家评测流程提供了高度可靠的能力上界。”

关键要点

• 阿里研究团队首次系统揭示了当前Agent在真实世界复杂层级规则推理中的巨大缺陷，并提出了专门针对该问题的评测基准HSCodeComp。
• 14个主流大模型和9个先进Agent框架在HSCodeComp上的最佳准确率仅约45%，远低于人类专家的95%，表明Agent在真实场景中的推理能力严重不足。
• 单纯增加推理时间（inference-time scaling）无法有效提升准确率，说明瓶颈在于Agent架构本身的结构性缺陷，而非计算资源不足。
• 导致Agent失败的主要原因包括：推理链过长导致路径偏离、领域知识不足导致规则误用、以及推理幻觉导致无事实依据的判断。
• 阿里基于Qwen基座模型设计的Agent在HSCodeComp上达到65.0%准确率，是当前所有AI系统中的最高水平。
• 数据集与评测代码已在Hugging Face和GitHub全面开源，供学术界和工业界使用。

意义与影响

该研究为Agent能力评测建立了新的科学范式。HSCodeComp基准聚焦于“层级规则应用”这一核心能力，而这一能力不仅存在于国际贸易关务场景，也广泛存在于法律合规、医疗诊断、税务审计等大量高价值专业领域。该基准揭示了当前Agent的能力边界，为构建真正可靠的专业AI系统提供了可量化的评测标杆。

从行业角度看，该研究直接推动了Agent在跨境贸易数字关务等场景中的落地应用。阿里已基于该研究成果设计了以Qwen基座模型为核心的Agent框架，在HSCodeComp基准上取得领先成绩。这证明通过针对性架构优化可以在真实复杂规则推理任务上显著提升Agent表现。

从学术角度看，该论文获得ACL 2026最佳资源论文奖，意味着其提出的评测基准、数据集和实验发现得到了国际顶级学术社区的认可。这为后续Agent研究提供了重要的参考基准和方向指引——未来Agent的发展不仅需要提升语言理解能力，更需要解决结构化、层级化规则推理的根本性架构问题。