新基准GSM-Plus-BN评估大模型孟加拉语数学推理

背景

大型语言模型（LLM）的数学推理能力评估长期以英语等高资源语言为主，这为全球语言多样性地区的AI公平发展制造了显著障碍。孟加拉语（Bengali）作为全球超过2.3亿人的母语，在孟加拉国及印度部分地区广泛使用，但此前几乎没有针对孟加拉语的数学推理系统性研究工作，更缺乏对扰动变体的基准测试。现有评估多集中于模式识别而非真正的推理鲁棒性，这一空白在低资源语言场景下尤为突出。本文正是为了填补这一空白而提出GSM-Plus-BN。

核心内容

论文标题为《GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models》，投稿于arXiv（cs.CL），提交日期为2026年7月14日。作者团队构建了一个全新的扰动式孟加拉语数学推理数据集GSM-Plus-BN，该数据集基于英文GSM-Plus基准，通过人工翻译验证后生成。数据集包含9,000个评估样本：1,000个种子问题（seed questions）和8,000个扰动变体（perturbed variants）。扰动类型沿用GSM-Plus的设计，覆盖多种数学推理干扰模式。

评估对象为6个开源LLM：Qwen3-32B、Llama-3.1-8B-Instant、Llama-3.3-70B-Versatile、Llama-4-Scout-17B-16E-Instruct、GPT-OSS-120B和GPT-OSS-20B。实验采用两种提示策略：标准提示（Standard Prompting）和思维链提示（Chain-of-Thought, CoT Prompting）。主要实验结果如下：

• 在标准提示下，GPT-OSS-20B在种子问题上的准确率最高，达到96.08%。
• 在鲁棒性方面，更大规模的模型（如Llama-3.3-70B和GPT-OSS-120B）在各类扰动类型下表现更优，显示出更强的抗干扰能力。
• 思维链提示显著提升了大多数模型的推理准确性，但仍未能弥补所有模型与英文基线之间的性能差距。这一差距凸显了孟加拉语扰动文本的内在难度。

论文的核心贡献在于提供了GSM-Plus-BN这一全新资源，并为未来的孟加拉语数学推理研究建立了基线。

关键要点

• 新数据集：GSM-Plus-BN是从英文GSM-Plus衍生而来的孟加拉语扰动数学推理数据集，经由人工翻译验证，包含1,000个种子问题和8,000个扰动变体。
• 模型评估：评估了6个开源LLM（Qwen3-32B、Llama-3.1-8B-Instant、Llama-3.3-70B-Versatile、Llama-4-Scout-17B-16E-Instruct、GPT-OSS-120B、GPT-OSS-20B），共计9,000个样本。
• 最佳种子准确率：GPT-OSS-20B在标准提示下取得种子问题最高准确率96.08%。
• 鲁棒性表现：Llama-3.3-70B和GPT-OSS-120B在各类扰动条件下展现出最好的鲁棒性。
• CoT提升显著：思维链提示相比标准提示普遍提高了模型的推理能力，但所有模型在孟加拉语扰动文本上的表现仍落后于其在英文上的基准。
• 性能差距：这一差距反映了孟加拉语作为低资源语言在数学推理任务中的固有挑战，也说明当前LLM在多语言推理鲁棒性方面存在明显不足。

意义与影响

这项研究首次系统性地为孟加拉语数学推理建立了包含扰动变体的标准基准，填补了该领域的关键空白。GSM-Plus-BN不仅为评估LLM在孟加拉语上的真实数学理解能力（而非简单模式匹配）提供了可靠工具，也为未来跨语言推理研究提供了可复用的数据集和基线。对于孟加拉国及全球南亚地区的AI开发者而言，该工作有助于推动面向低资源语言的公平模型发展。同时，研究中发现的CoT提示在孟加拉语上的效果逊于英文这一现象，提示未来需要进一步探索针对非英语语言的推理增强技术。该数据集和基线也将激励更多研究关注语言多样性带来的AI公平性问题，促进全球AI生态的均衡发展。