深思熟虑的进化：利用智能体推理实现大语言模型符号回归的样本高效优化

背景

符号回归（Symbolic Regression, SR）是机器学习领域中一项极具挑战性的任务，其目标是从数据中发现紧凑且可解释的数学表达式。与传统的黑盒模型不同，符号回归旨在挖掘数据背后潜在的解析结构，这在科学发现、物理建模和工程优化等领域具有极高的价值。

近年来，随着大语言模型（LLMs）在代码生成和逻辑推理方面的能力显著提升，研究人员开始尝试利用 LLM 进行符号回归。现有的基于 LLM 的进化方法通常采用进化算法的框架，通过迭代生成、评估和选择表达式来逼近最优解。然而，这些方法普遍存在一个核心痛点：样本效率低下（Sample-inefficient）。

目前的主流方法主要依赖标量反馈（如均方误差 MSE）来指导进化过程。这种单一维度的反馈机制存在严重的局限性：它将“候选表达式的提出”与“搜索方向的引导”混为一谈。LLM 被迫在仅凭一个最终得分的情况下，同时完成多项复杂任务：推断如何演化表达式、诊断当前表达式的错误根源，以及复用过去的经验。这种认知负荷过重且信息密度极低的方式，导致模型难以在有限的样本预算内找到全局最优解。

核心内容

针对上述局限性，本文提出了 Deliberate Evolution (DE)，一种旨在解耦符号生成与搜索控制的智能体（Agentic）框架。DE 的核心思想是将复杂的符号回归任务分解为更细粒度的子任务，通过专门的组件提供多维度的反馈和指导，从而显著提升 LLM 的搜索效率。

1. 解耦生成与控制

DE 框架明确区分了“生成候选表达式”和“指导搜索方向”这两个过程。传统的进化算法往往让 LLM 自行决定变异或交叉的策略，而 DE 引入了自适应算子（Adaptive Operators）来主动引导搜索方向。这意味着 LLM 不再需要凭空猜测下一步该怎么做，而是接收来自系统层面的策略建议，专注于生成高质量的表达式变体。

2. 结构化诊断工具

为了解决单一标量反馈信息量不足的问题，DE 引入了分析工具（Analytical Tools）。这些工具能够对候选表达式的结构进行深度诊断，识别出导致误差的具体结构缺陷（例如，是否使用了不恰当的函数组合、参数范围是否合理等）。这种结构级的反馈比单纯的 MSE 分数提供了更丰富的梯度信息，帮助 LLM 更精准地修正错误。

3. 反射式记忆机制

为了克服 LLM 缺乏长期记忆和上下文连贯性的问题，DE 设计了反射式记忆（Reflective Memory）模块。该模块不仅记录单次迭代的得失，还维护轨迹级别（Trajectory-level）的经验库。LLM 可以查询过去的成功路径和失败案例，从而避免重复犯错，并复用有效的演化策略。这种机制使得模型能够从历史交互中持续学习，实现经验的累积和复用。

4. 实验验证

在 LLM-SRBench 基准测试中，DE 框架在多个科学领域（涵盖物理、化学、生物等不同特性的数据集）的表现均优于代表性的基于 LLM 的符号回归基线方法。最显著的成就是其样本效率的提升：DE 仅使用了标准样本预算的 40%，便实现了更优的收敛效果和更准确的表达式发现。这一结果有力地证明了通过智能体推理和结构化反馈来提升样本效率的可行性。

关键要点

• 问题诊断：现有基于 LLM 的符号回归方法因过度依赖标量反馈（如 MSE），导致候选生成与搜索引导混淆，样本效率低下。
• 核心创新：提出 Deliberate Evolution (DE) 框架，通过解耦符号生成与搜索控制，实现更高效的进化搜索。
• 三大支柱：
  1. 自适应算子：主动引导搜索方向，减轻 LLM 的策略决策负担。
  2. 分析工具：提供结构级诊断，弥补标量反馈的信息缺失。
  3. 反射式记忆：利用轨迹级经验库，实现历史经验的复用与反思。
• 性能提升：在 LLM-SRBench 基准上，DE 在多个科学领域超越现有基线方法。
• 效率突破：仅需 40% 的标准样本预算即可达到更优结果，大幅降低了计算成本和评估次数。

意义与影响

Deliberate Evolution 的提出标志着基于大语言模型的符号回归研究从“粗放式生成”向“精细化智能体推理”的重要转变。

首先，它解决了长期困扰该领域的样本效率瓶颈。在科学计算中，每次函数评估（即计算表达式的误差）可能涉及昂贵的物理实验模拟或复杂的数值计算。将样本需求降低至 40%，意味着可以显著加速科学发现的进程，降低研发成本。

其次，DE 框架展示了“智能体推理”在复杂搜索问题中的巨大潜力。通过引入结构诊断和反射记忆，LLM 不再仅仅是一个概率预测器，而是一个具备自我反思、工具使用和长期记忆能力的智能代理。这种范式可以迁移到其他需要高效搜索和结构优化的领域，如程序合成、电路设计和药物分子发现。

最后，该工作强调了反馈机制设计的重要性。它提醒研究者，在利用 LLM 解决复杂任务时，单纯增加模型参数或提示词工程是不够的，必须从系统架构层面设计多维度的、结构化的反馈回路，才能真正释放 LLM 在逻辑推理和符号操作上的潜力。