Evaluating SageMath-Augmented LLM Agents for Computational and Experimental Mathematics

背景

近年来，人工智能在数学领域的研究大多聚焦于自动形式化（autoformalization）和定理证明（theorem proving），而计算机代数系统（Computer Algebra Systems, CAS）在基于智能体（agent）的大语言模型（LLM）工作流中的作用尚未得到充分探索。本文来自 arXiv cs.AI，提交于2026年7月7日，旨在填补这一空白，评估将 SageMath 作为工具集成到 LLM 智能体流程中，用于解决研究级别的计算与实验数学问题。

核心内容

研究者提出了一种基于 ReAct 风格的智能体架构，将 LLM 的推理能力与来自 SageMath 的可验证反馈相结合，并引入 Context7 以获取最新的文档支持。该智能体设置被用于评估前沿模型在 RealMath 基准测试上的表现，模拟了一个计算数学的研究闭环（research loop）。具体来说，智能体可以调用 SageMath 执行符号计算、数值分析等操作，然后根据结果调整推理步骤，从而获得比纯 LLM 推理更高的解题成功率。

为了提升基准本身的质量，作者还对 RealMath 基准进行了改进：引入了多步后处理流程（multi-step post-processing procedure）和多阶段验证管线（multi-stage validation pipeline），从而提高了提取出的问题集的质量和可靠性。

实验覆盖了多种前沿模型（包括开放权重模型和闭源模型），结果显示：所有评估模型在接入 SageMath 后均获得了实质性的性能提升——平均提升 9.7 个百分点（pp），最高提升范围从 1.5 pp 到 27.8 pp 不等。这一增益显著缩小了开放权重模型与闭源模型之间的差距。其中，Qwen 3.7-Max 从 SageMath 中受益最大，而 GPT-5.5 在启用工具配置下达到了最高的解题率 75.2%，同时消耗的 token 数量最低。

总体而言，研究表明，CAS 增强的智能体是辅助数学家进行计算探索的有前途的方向，作者认为这项工作向着自动化猜想发现（automated conjecture discovery）迈出了重要一步。项目仓库已在线公开。

关键要点

• 提出了一个 ReAct 风格的 LLM 智能体框架，结合 SageMath 可验证反馈和 Context7 最新文档。
• 在 RealMath 基准上评估研究级数学问题，模拟计算数学研究循环。
• 改进 RealMath 基准：新增多步后处理和多阶段验证管线，提升问题集质量与可靠性。
• 所有接入 SageMath 的模型平均解题率提升 9.7 pp，最高提升 27.8 pp，开放权重模型与闭源模型差距缩小。
• Qwen 3.7-Max 受益最大；GPT-5.5 达到最高解题率 75.2%，且 token 使用量最低。
• 研究指向 CAS 增强智能体在计算数学探索中的潜力，并被视为迈向自动化猜想发现的步骤。

意义与影响

该工作首次系统性地评估了将计算机代数系统（SageMath）集成到 LLM 智能体工作流中的效果，填补了 AI for Mathematics 领域中 CAS 与智能体结合的研究空白。其核心贡献包括：提出了一种实用的增强框架，验证了 CAS 工具对数学问题求解的显著提升，并且通过改进基准使得评估更加可靠。研究结果不仅表明开放权重模型可以通过工具使用大幅缩小与闭源模型的差距，还揭示了 LLM+工具组合在计算数学乃至整个科研探索中的巨大潜力。未来，这种范式可能推动自动化猜想发现、辅助数学家进行实验探索，并进一步变革科学计算与推理的方式。