多语言长程LLM代理基准PolyWorkBench发布

背景

近年来，大型语言模型（LLM）驱动的 agent 在需要规划、工具调用和与外部环境交互的长周期（long-horizon）任务上展现了强劲性能。然而，现有的基准测试大多隐式假设一个单语言（monolingual）场景：整个执行过程——包括推理、工具调用和输出生成——都在同一种语言内完成。现实世界中的工作流却常涉及多语言输入和输出，且这些多语言内容统一出现在同一个工作流程中。多语言性与 agent 执行之间的相互作用尚未得到充分探索，这成为评估 LLM agent 实际部署能力的一个关键盲区。

核心内容

为推动该方向的研究，研究者提出了 PolyWorkBench，一个专门评估 LLM agent 在多语言长周期工作流中表现的基准。PolyWorkBench 包含 67 个任务，覆盖 5 个领域：商务（commerce）、知识工作（knowledge work）、法律分析（legal analysis）、本地化（localization）和制造业（manufacturing）。在这些任务中，agent 必须处理异构的多语言输入、执行迭代推理、调用外部工具，并生成结构化输出。

为了进行全面的评估，作者提出了一种 混合评估框架，融合了三种手段：

• 结构评分（structural grading）：检查输出格式、字段完整性等结构化要求；
• 可执行验证（executable verification）：通过实际运行或模拟验证输出是否能正确执行；
• 基于 LLM 的语义评估（LLM-based semantic assessment）：利用 LLM 评判输出的语义正确性与语言一致性。

这一设计使得评估能同时捕捉复杂工作流中的功能正确性和语言一致性。

实验结果表明，当前最先进的 LLM agent 在多语言工作流场景下相比单语言场景出现了显著的性能下降。进一步分析显示，多语言性在推理和执行步骤中引入了复合效应：不同语言之间的切换不仅增加了语言处理的负担，还放大了决策错误，导致整体流程的失败率更高。这凸显了在 agent 评估中联合建模语言变异与程序化决策的重要性。

关键要点

• 现有 LLM agent 基准几乎都假设单语言环境，无法反映真实世界的多语言工作流需求。
• PolyWorkBench 是首个系统评估多语言长周期 agent 的基准，覆盖 5 个领域 67 个任务，任务涉及异构多语言输入、迭代推理、工具调用和结构化输出。
• 评估采用混合框架：结构评分 + 可执行验证 + LLM 语义评估，兼顾功能与语言一致性。
• 实验显示，多语言设置下 SOTA agent 性能显著劣于单语言设置，说明多语言性对 agent 能力存在系统性削弱。
• 多语言性在推理和执行的各步骤中产生复合效应，即语言切换会放大错误，导致整体流程失败率上升。
• 研究呼吁在设计 agent 评估时，必须将语言变异纳入决策过程建模，而不仅仅是作为输入预处理问题。

意义与影响

PolyWorkBench 的提出填补了 LLM agent 评估在多语言维度上的空白。它不仅提供了首个面向多语言长周期工作流的标准化测试平台，还通过实验证据揭示了当前 agent 在多语言场景下的脆弱性。这提示研究者：多语言性不仅仅是“语言标签”的不同，而是会与 agent 的规划、推理、工具调用等核心能力产生交互影响。未来，构建能够鲁棒处理多语言工作流的 agent 可能需要以下方向的努力：训练数据中融入多语言工作流样本；设计跨语言推理链的强化学习机制；开发不受语言干扰的规划模块等。PolyWorkBench 本身也可被扩展至更多语言和领域，并为多语言 agent 的横向比较提供可靠基准。