PluraMath将数学推理评估拓展至低资源语言

背景

数学推理已成为评估和调优推理大语言模型（reasoning LLMs）的核心任务。然而，现有基准在语言覆盖上严重偏向高资源语言——英语和中文在预训练语料库和评估套件中占据主导地位。近期发布的 PolyMath 数据集（Wang et al., 2025）是一个重要进步，但其语言覆盖仍限于 18 种高资源语言，未能触及更广泛的语言多样性。为弥补这一空白，本研究提出 PluraMath，将 PolyMath 扩展至额外的 18 种代表性不足的语言（underrepresented languages），涵盖 6 个语系，从中等资源（mid-resource）到极度低资源（extreme low-resource）环境均有涉及。

核心内容

PluraMath 数据集通过人工策划的流程构建：研究团队首先计算预翻译（pre-computed translations），随后由母语者进行彻底验证，确保翻译质量。借助 PluraMath，研究者对 27 个推理 LLM 在四种模型尺度（小型、中型、大型以及闭源集成）上进行基准测试，探究最先进模型在不同语言条件下的多语言数学推理能力。细粒度分析确认了高资源语言与代表性不足语言之间数学推理性能持续存在差距，且更强的结果通常与更好的指令遵循能力（instruction-following ability）相关。为降低代表性不足社区的多语言基准开发门槛，研究团队完全开源了该数据集、数据采集管道和评估框架。

关键要点

• PluraMath 将数学推理评估从 18 种高资源语言扩展到 18 种代表性不足的语言，涵盖 6 个语系，包括中等资源至极低资源语言。
• 数据构建采用人工策划管道：先计算预翻译，再由母语者逐一验证，确保高质量。
• 评估覆盖 27 个推理 LLM，涉及四种模型规模（小型、中型、大型、闭源集成），系统测试多语言数学推理能力。
• 细粒度分析证实高资源与低资源语言之间存在持续的数学推理性能差距，且指令遵循能力强的模型在该差距中表现更优。
• 全部资源（数据集、数据采集管道、评估框架）已开源，旨在降低多语言基准开发的参与门槛。

意义与影响

PluraMath 直接回应了当前 LLM 评估中语言多样性不足的问题。通过系统性地覆盖低资源语言，该工作不仅揭示了主流模型在非高资源语言上的性能短板，还为研究人员提供了可复用的工具与数据，促进更公平、更全面的多语言推理能力评测。开源所有组件使得社区能够轻松扩展覆盖范围或适配自身需求，推动数学推理研究走向更广泛的语言世界。此外，性能差距与指令遵循能力的关联提示未来模型训练可针对低资源语言的指令理解进行优化。