MIRA-Math：面向最小信息请求的数学推理基准

背景

数学推理是评估大语言模型（LLM）核心能力的重要维度。现有的数学推理基准（如 GSM8K、MATH）通常为每个问题提供所有必需的事实，模型只需进行链式推理即可得出答案；而交互式基准（如 AgentBench、WebArena）则将推理与工具使用、检索、长程对话混合在一起，难以单独诊断模型的“信息请求”能力。实际应用中，智能体常常需要在信息不完整的情况下主动向用户或系统询问缺失的关键信息，然后才能进行推理。目前缺乏一个能精确衡量模型“在信息缺失时主动请求并整合信息”这一窄口径能力的标准化评估工具。MIRA-Math 正是为填补这一空白而设计的。

核心内容

MIRA-Math 是一个用于评估模型在数学推理中执行“最小信息请求”（Minimal Information Requesting）能力的基准。其核心设计如下：

1. 问题定义：每个数学问题的完整潜在状态（latent state）有唯一答案，但模型（求解器）看到的视角恰好缺失一个必要的原子事实（atomic fact）。模型必须用自然语言请求该缺失信息，且请求次数受严格预算限制（budget）。随后，系统将返回该事实，模型需将其整合到最终答案中，并给出精确的数字或表达式结果。

2. 响应机制：一个固定的、受约束的 LLM 响应器（responder）只能看到数据集提供的原子事实。当模型的请求与该事实匹配时，响应器会原样引用该事实；否则拒绝提供。因此，实例生成、类型化提示规范、验证和最终答案检查都是确定性的，而请求指标（如请求成功率）则通过固定的 LLM 中介响应通道测量。

3. 数据集规模与来源：MIRA-Math 包含 2,310 个生成实例，来自 22 种数学类型（typed mathematical families），涵盖代数、概率、线性系统、离散结构、信号处理、马尔可夫链、电路、插值、数值边界值问题等领域。

4. 实验发现：在前沿模型和小型模型上的实验表明，请求成功（request success）和最终答案正确性（final-answer accuracy）是分离的（separable）。模型可能请求了正确的事实，但后续计算失败；也可能在获得正确提示之前就失败了。这揭示了模型在“信息请求”与“推理计算”两个环节的能力差异。

5. 开源内容：作者发布了生成器、验证器、提示词、运行元数据和数据集文档，以支持可复现的评估。

关键要点

• MIRA-Math 聚焦于“缺失恰好一个原子事实”的数学问题，排除多轮对话、工具使用等干扰，专门诊断模型的信息请求能力。
• 使用固定 Constrained LLM Responder 作为事实提供者，确保信息请求的匹配过程是确定性的，从而可精确测量请求的成功率。
• 数据集包含 22 种数学类型，覆盖广泛的数学子领域，共计 2,310 个实例。
• 实验揭示了请求成功与计算正确性之间的分离现象：模型可能正确请求但错误计算，或者错误请求但正确计算（如果提前获得提示？但通常请求失败则无法获得提示），这为模型能力的细粒度分析提供了新维度。
• 基准的设计强调可复现性：所有代码、数据、提示词和文档均已开源。

意义与影响

• 诊断价值：MIRA-Math 将“信息请求”从复杂的交互任务中剥离出来，提供了一种干净的、可量化的诊断方法。这有助于研究者区分模型在“主动获取信息”与“利用信息推理”这两个阶段的能力瓶颈。
• 推动模型改进：分离出的失败模式（如请求正确但计算错误，或请求失败）可以指导针对性训练，例如增强模型在不确定情况下的询问策略，或提升其基于缺失信息构建数学表达式的鲁棒性。
• 基准标准化：通过确定性生成和验证，MIRA-Math 避免了传统基准中评价标准模糊的问题，使得不同模型之间的比较更加公平和可重复。
• 潜在应用：该基准可扩展至其他需要信息请求的领域（如物理、工程、编程），为构建更智能的交互式 AI 系统提供基础评估工具。
• 局限性：当前基准仅覆盖“缺失一个原子事实”的简单场景，未来可能需要扩展到多事实缺失、模糊请求、多轮交互等更复杂的设置，以贴近真实应用。