EditSR：通过基于编辑的校正增强神经符号回归

背景

符号回归（Symbolic Regression, SR）旨在从数据中发现数学表达式，其核心挑战在于搜索空间的巨大复杂性。传统的符号回归方法通常依赖于全局搜索算法（如遗传编程），虽然能保证找到最优解，但计算成本极高，难以扩展到大维度或复杂数据场景。

近年来，神经符号回归（Neural Symbolic Regression）模型兴起，试图通过预训练将结构搜索过程迁移到神经网络中，从而在推理阶段实现高效预测。这类模型通常采用自回归（Autoregressive）解码方式，即逐个生成表达式的符号。然而，这种“一次性”（one-pass）的生成机制存在显著缺陷：由于每一步的预测都依赖于前一步的结果，微小的初始错误会在后续步骤中不断累积（Error Accumulation），导致最终生成的表达式在结构上完全错误。特别是在处理复杂表达式时，这种误差累积效应尤为严重。

现有的校正策略（Rectification Strategies）虽然试图缓解这一问题，但大多依赖于重启全局搜索或重新进行昂贵的推理过程。这不仅削弱了神经模型在效率上的优势，且由于未能从根本上解决依赖历史状态的问题，依然容易受到误差累积的影响。因此，如何在保持神经模型高效推理的同时，实现低成本、高精度的结构校正，成为该领域亟待解决的关键问题。

核心内容

针对上述挑战，本文提出了 EditSR，一种结合神经网络与基于编辑的校正器（Edit-based Rectifier）的两层框架。该框架旨在实现高效的预测以及事后的结构校正（Post-hoc Rectification），从而在有限额外成本下显著提升符号结构的恢复能力。

1. 双层架构设计

EditSR 由两个主要层级组成：

• 第一层：神经符号回归模型。负责快速生成初始的候选表达式。这一层保留了神经模型推理速度快、效率高的优势。
• 第二层：基于编辑的校正器（Rectifier）。负责接收第一层生成的（可能包含错误的）表达式，并通过一系列编辑操作将其校正为语法正确且结构合理的表达式。

2. 基于预训练的校正效率

为了避免重启全局搜索带来的高昂计算代价，EditSR 对校正器进行了专门的预训练。校正过程被形式化为一个从错误表达式开始的逐步状态转移链（Step-by-step State-transition Chain）。

• 状态转移算法：研究团队开发了一种状态转移算法，用于构建监督式的校正链（Supervised Rectification Chains）。这些链条作为训练数据，指导校正器学习如何从错误状态一步步过渡到正确状态。
• 预训练优势：通过预训练，校正器能够直接学习校正策略，无需在推理时进行耗时的全局搜索，从而保持了整体系统的高效性。

3. 语法有效性与误差解耦

为了确保校正过程中的每一步操作都是合法且可解析的，EditSR 引入了两项关键机制：

• 语法空间限制：每个编辑动作（Edit Action）都被限制在语法有效的空间内。这意味着每一次编辑操作后生成的表达式必须是可解析的（Parseable），避免了生成无意义的语法片段。
• 状态条件化决策：校正器的每个编辑决策仅基于当前的表达式状态（Current State），而非整个生成历史（History）。这种设计具有两个重要意义：
  1. 降低误差累积风险：由于决策不依赖历史路径，早期步骤产生的错误不会锁定后续的选择空间。
  2. 后期纠错能力：后续的编辑操作可以独立地修正早期步骤中遗留的错误，从而有效缓解自回归解码中常见的误差累积问题。

4. 实验验证

广泛的实验和消融研究（Ablation Studies）表明，EditSR 在符号结构恢复方面取得了实质性提升。特别是在处理复杂表达式时，增益更为显著。这是因为复杂表达式在一次性自回归解码中更容易发生误差累积，而 EditSR 的两层校正机制恰好能针对性地解决这一痛点。

关键要点

• 问题定义：神经符号回归模型虽然推理高效，但其一次性自回归解码机制容易导致误差累积，生成结构错误的表达式，尤其在复杂场景下表现不佳。
• 方法创新：提出 EditSR 框架，采用“神经模型预测 + 编辑校正器事后校正”的两层架构，兼顾效率与准确性。
• 校正机制：将校正过程建模为状态转移链，通过预训练校正器实现高效校正，避免了重启全局搜索的高昂成本。
• 语法约束：所有编辑操作均在语法有效空间内进行，确保中间结果始终可解析。
• 去历史依赖：校正决策仅依赖当前状态而非历史路径，使得后续编辑能够独立修正早期错误，显著降低误差累积风险。
• 性能提升：在有限额外计算成本下，EditSR 显著提高了符号结构的恢复精度，对复杂表达式的改进效果尤为明显。

意义与影响

EditSR 的提出为神经符号回归领域提供了一条新的技术路径，其意义主要体现在以下几个方面：

1. 平衡效率与精度：现有的神经符号回归方法往往在效率上占优但精度不足，而传统方法精度虽高但效率低下。EditSR 通过引入轻量级的、预训练的编辑校正器，成功在两者之间找到了平衡点，证明了“快速预测+快速校正”模式的有效性。
2. 解决误差累积顽疾：通过解耦编辑决策与历史路径，EditSR 从机制上缓解了自回归生成中固有的误差累积问题。这一思路对于其他基于序列生成的符号发现任务也具有借鉴意义。
3. 促进可解释 AI 的发展：符号回归的核心价值在于生成人类可理解的数学公式。EditSR 提高了生成公式的结构正确率，使得神经模型在科学发现、物理定律挖掘等需要高可解释性的应用场景中更加可靠。
4. 方法论贡献：将校正过程形式化为状态转移链并进行预训练，为处理结构化数据的生成与修正提供了新的建模视角，可能启发后续研究在其他结构化生成任务（如代码生成、电路设计）中应用类似的校正框架。