阿里获ACL最佳资源论文奖，提出Agent评测新范式
速览
阿里团队在ACL 2026获最佳资源论文奖，提出全新评测基准HSCodeComp，要求Agent像专家一样准确匹配10位海关编码。测试显示最佳Agent准确率仅45%，远低于人类专家的95%，且增加推理时间无法缩小差距。研究揭示了推理链过长、领域知识不足、推理幻觉三大缺陷，为提升Agent可靠性指明方向。该基准已开源，阿里基于Qwen的Agent在基准上达65%准确率，居AI系统第一。
AI 深度解读
背景
2026年7月8日，国际AI顶级学术会议ACL（国际计算语言学协会）公布了最佳论文奖项。阿里研究团队在Deep Research Agent方向的研究成果从全球一万多篇投稿中脱颖而出，获评最佳资源论文奖（Best Resource Paper），是国内唯一获得该奖项的中国公司。ACL成立于1962年，是自然语言处理和计算语言学领域历史最悠久、最具权威性的国际学术组织，其h5-index在谷歌学术计算语言学子领域中长期位居榜首，是大模型、Agent等前沿技术的核心论文首发阵地。ACL 2026共收到12148篇投稿，仅19%被主会录用，最终仅4篇论文获评Best Resource Paper。
核心内容
该论文首次系统揭示了当前Agent在真实世界复杂规则推理中面临巨大缺陷，并提出了全新的专家Agent评测基准HSCodeComp。该基准以商品出口所需的10位海关编码（HS Code）为切入点，要求Agent像资深关务专家一样，将商品模糊的属性与严格的关税归类规则对齐，为商品精准映射到10位细分编码。
研究团队对14个主流大模型和9个先进Agent框架进行了全面评测。测试结果显示，表现最好的Agent系统准确率仅为45%左右，远低于人类专家95%的准确率。更值得注意的是，研究发现单纯增加推理时间（inference-time scaling）并不能显著缩小这一差距，表明问题背后并非“算力问题”，而是Agent架构本身的结构性瓶颈。
研究进一步揭示了导致Agent系统缺陷的三个主要原因：
- 过长的推理链导致Agent在中途偏离正确路径；
- 领域知识不足导致规则误用；
- 推理幻觉造成Agent生成缺乏事实依据的分类判断。
在HSCodeComp基准测试中，阿里设计的基于Qwen基座模型的Agent框架以65.0%的准确率稳居AI系统第一位。目前，HSCodeComp基准的数据集与评测代码已在Hugging Face和GitHub全面开源。
关键要点
- ACL 2026最佳资源论文奖由阿里研究团队获得，是国内唯一获奖的中国公司。
- 提出新基准HSCodeComp，以海关编码归类为场景，评测Agent在真实复杂规则推理中的表现。
- 评测14个主流大模型和9个先进Agent框架，最佳系统准确率仅45%，远低于人类专家95%。
- 增加推理时间无法显著提升准确率，暴露了Agent架构的结构性瓶颈，而非算力不足。
- Agent缺陷三大原因：推理链过长导致偏离路径、领域知识不足导致规则误用、推理幻觉导致无依据判断。
- 阿里自研的基于Qwen的Agent框架在HSCodeComp上达到65.0%准确率，为当前最优。
- 数据集与评测代码已在Hugging Face和GitHub开源。
意义与影响
该研究为提升大模型在真实场景的可靠性指明了新方向。ACL评审委员会评价称：“该基准切中了Agent应用的高度重要挑战——考察Agent对严格层级化自然语言规则的遵循能力，研究动机极具说服力；严谨的人类专家评测流程提供了高度可靠的能力上界。”
阿里研究团队指出，层级规则应用是现实世界中大量专业决策的核心能力，不仅存在于国际贸易，也广泛存在于法律合规、医疗诊断、税务审计等重要高价值垂类领域。HSCodeComp揭示了当前Agent的能力边界，也为构建真正可靠的专业AI系统提供了科学的评测标杆。基于该研究成果，阿里已在跨境贸易数字关务等场景中落地应用，推动了Agent在专业领域的实用化进程。