大语言模型作为优化器：直接方法与工具增强方法的调查及其性能前沿

来源：arXiv cs.AI 提交日期：2026年4月9日

背景

随着大语言模型（LLMs）能力的不断演进，其应用边界已从简单的文本生成扩展至复杂的逻辑推理与问题解决领域。在现实世界中，许多实际问题本质上都可以归结为“寻找更优或最佳解决方案”的搜索过程，这正是数学优化（Mathematical Optimization）的核心任务。

尽管许多触发 LLM 进行此类操作的实用主义用户可能并未意识到这一点，但 LLM 正日益深入地参与到复杂的数学优化过程中。这一新兴领域被称为“LLM-as-optimizer”（大语言模型即优化器）。为了系统性地理解这一范式，学术界开始关注 LLM 在优化任务中的不同介入方式及其性能极限。本文旨在梳理该领域的三大范式，分析当前的性能前沿，并探讨不同架构背后的权衡与未来潜力。

核心内容

本文对“大语言模型作为优化器”的研究现状进行了全面综述，重点区分了三种主要的优化范式，并基于现有文献中的基准测试（benchmarks）描述了当前的性能表现。

三大优化范式

1. 直接优化（Direct Optimization） 这种方法主要依赖迭代式的提示工程（iterative prompting）和启发式生成（heuristic generation）。LLM 直接在内部推理空间中导航，通过多轮对话或思维链（Chain-of-Thought）逐步逼近最优解。它不依赖外部代码执行或专用求解器，完全依靠模型自身的语言理解和逻辑推理能力来探索解空间。

2. 工具增强优化（Tool-Augmented Optimization） 这是一种更为结构化的方法。LLM 负责将自然语言描述的问题转化为形式化规范（formal specifications），如线性规划模型或约束满足问题（CSP）。随后，LLM 编排并调用外部的专用求解器（external solvers，如 Gurobi、CP-SAT 等）来求解这些形式化问题。在此过程中，LLM 充当了“翻译者”和“调度者”的角色，而具体的计算任务由专业工具完成。

3. 工具创建优化（Tool-Creating Optimization） 这是最高阶的范式。LLM 不仅使用工具，还利用自身能力去发现、生成或改进可复用的算法或启发式规则。这些生成的算法或规则可以被部署并用于解决同类问题，且边际 LLM 调用成本为零。这种方法旨在通过 LLM 的创造性，将一次性的优化过程转化为可长期复用的资产。

性能前沿与基准测试

文章基于文献中的基准测试数据，描述了上述三种范式当前的性能边界。虽然直接优化在简单问题上表现尚可，但在处理高维度、强约束的复杂优化问题时，往往受限于 LLM 的计算精度和逻辑一致性。相比之下，工具增强优化通过结合专用求解器的精确性，通常在标准优化基准上取得了更高的准确率。

核心矛盾：推理差距与权衡

文章指出了一个关键问题：当前架构中存在显著的“推理差距”（reasoning gap）。这意味着 LLM 在理解复杂优化逻辑和生成正确形式化代码之间仍存在障碍。

在此基础上，文章论证了不同范式之间的权衡：

• 直接优化具有巨大的未来潜力，特别是随着模型推理能力的提升，它可能成为解决非结构化或半结构化问题的首选。
• 工具增强优化虽然目前性能稳定，但其核心价值在于“可审计性”（auditability）。由于求解过程由外部工具执行，结果更具可解释性和可追溯性。

未来趋势：工具制造

文章进一步推测，即使未来出现更强大的 LLM，对于重复性强的问题家族（repetitive families of problems），模型可能会倾向于选择“工具制造”（tool-making）。这是因为通过生成专用算法或启发式规则，可以在消除边际 LLM 调用成本的同时，实现更高的运营效率。

关键要点

• 范式分类：LLM-as-optimizer 领域包含三种主要范式：直接优化（内部推理）、工具增强优化（自然语言转形式化+外部求解器）、工具创建优化（生成可复用算法）。
• 直接优化的局限：依赖迭代提示和启发式生成，虽无需外部工具，但在复杂优化任务中受限于模型的推理精度。
• 工具增强的优势：通过将 NL 问题转化为形式化规范并调用外部求解器，提供了更高的准确性和可审计性。
• 工具创建的价值：LLM 生成可复用算法，旨在降低重复性问题的边际成本，提升长期运营效率。
• 核心挑战：当前架构存在“推理差距”，即 LLM 在逻辑推理与形式化转换之间仍存在能力断层。
• 未来展望：尽管直接优化潜力巨大，但在面对重复性家族问题时，“工具制造”可能是提升效率的关键路径。

意义与影响

这篇综述文章标志着 LLM 应用从“内容生成”向“决策与求解”深化的重要转折。

1. 重新定义 LLM 的角色：LLM 不再仅仅是信息的提供者，而是成为了复杂系统问题的求解者或求解过程的编排者。这为自动化运维、供应链优化、资源调度等工业场景提供了新的技术路径。
2. 可审计性与可信 AI：文章强调工具增强优化的“可审计性”，回应了当前 AI 领域对黑盒模型的不信任问题。通过引入外部求解器，优化过程变得更加透明，有助于在金融、医疗等高风险领域落地。
3. 成本与效率的平衡：提出“工具创建”概念，指出了 LLM 在长期运营中的经济性潜力。通过生成一次性代码或算法来替代反复的 LLM 调用，为解决大规模、高频次优化问题提供了可行的经济模型。
4. 明确研究差距：通过指出“推理差距”，为后续研究指明了方向——即如何缩小 LLM 自然语言理解与形式化逻辑表达之间的鸿沟，是提升直接优化性能的关键。

总之，该文章为理解 LLM 在优化领域的现状、局限及未来演进提供了清晰的框架，强调了在追求模型智能的同时，必须兼顾可解释性、成本效益和工程实用性。