Multi-Turn Text-to-SQL 记忆架构：基准测试与实证研究深度解读

背景

Text-to-SQL（自然语言转 SQL）技术旨在让非技术人员通过自然语言查询数据库，是企业数据分析的核心场景。然而，现有的评估体系存在显著缺陷：绝大多数研究仅在“单轮”（Single-turn）设置下进行评估。在真实的商业环境中，数据分析往往是一个多轮交互的过程，用户需要根据前一轮的结果进行追问、修正或细化查询。

这种“多轮”（Multi-turn）交互对模型提出了更高的认知要求，特别是对于记忆机制（Memory Architectures）的依赖。模型不仅需要理解当前的自然语言指令，还需要维护上下文状态、检索历史对话信息，并整合语义知识以生成准确的 SQL 语句。目前，关于不同记忆架构在多轮 Text-to-SQL 任务中的具体贡献、局限性以及前沿模型在这些复杂场景下的真实表现，尚缺乏系统性的基准测试和实证研究。

核心内容

本文引入了一项名为 EnterpriseMem-Bench 的新基准测试，并对五个前沿大语言模型进行了全面的实证评估，旨在揭示记忆架构在多轮 Text-to-SQL 中的实际作用。

1. EnterpriseMem-Bench 基准介绍

该基准测试专为多轮 Text-to-SQL 设计，具有以下特点：

• 规模与结构：包含 300 个会话（Sessions）和 1,400 个交互轮次（Turns）。
• 数据来源：通过程序化生成方式，从三个企业级领域构建而成：
  • BIRD Financial：金融领域数据。
  • SEC EDGAR：美国证券交易委员会 Edgar 数据库。
  • Northwind：经典的 Northwind Traders 示例数据库。
• 标注质量：提供确定性的地面真值（Deterministic ground truth），并对每一轮交互进行了“记忆关键性”（Memory-critical）标注，明确标记出哪些轮次严重依赖历史记忆。

2. 评估模型与实验设置

研究评估了以下五个前沿模型：

• OpenAI：GPT-5 mini, GPT-5.2
• Anthropic：Claude Sonnet 4.5, Sonnet 4.6, Opus 4.6

为了隔离变量，实验设置了五种不同的记忆条件，通过三向消融实验（Three-way ablation）独立考察以下三个因素的效果：

1. 工作记忆窗口大小（Working-memory window size）：模型能直接访问的上下文长度。
2. 情景检索（Episodic retrieval）：从历史对话中检索相关片段的能力。
3. 语义增强（Semantic augmentation）：对语义信息的额外增强处理。

此外，为了保持与 GPT 推理模型的对等性，所有 Claude 系列模型均在启用扩展思维（Extended thinking）的情况下进行评估。

3. 诊断指标：MBS

研究引入了 **Memory Benefit Score **(MBS)，作为衡量每一轮交互中记忆机制带来收益的诊断性指标。

4. 主要发现

通过对上述实验数据的分析，研究得出了四项关键发现：

1. 无状态多轮交互的崩溃： 在所有五个模型中，如果采用无状态（Stateless）的多轮 Text-to-SQL 策略，执行准确率在第 3 轮（Turn 3）即降至零。即使启用了推理能力，这一崩溃现象依然存在。这表明，缺乏有效的记忆维持机制，模型无法在连续对话中保持准确性。

2. 记忆架构复杂性与准确率非单调相关： 记忆架构的复杂性并不必然带来准确率的提升。工作记忆（Working Memory）占据主导地位。额外的记忆组件（如情景检索、语义增强）产生的影响因模型和数据集而异，效果跨度极大，从提升 14 个百分点到下降 16 个百分点不等。这意味着“堆砌”记忆模块并非万能解，需针对特定模型和数据特性进行优化。

3. Claude 模型的代际倒退： 在 SEC EDGAR 数据集上，Claude Sonnet 4.6 的表现显著低于其前代 Sonnet 4.5，准确率差距在 17-33 个百分点之间。这种代际性能倒退（Generational regression）即使在启用推理模式后依然持续存在，显示出模型在特定企业级复杂查询上的退化。

4. 推理模式下的错误分布变化： 在启用推理（Reasoning）后，Claude 模型的错误分布变为单峰（Mono-modal）。这意味着，一旦模型在推理模式下出错，它几乎总是产生“错误结果”（Wrong-result error），而不是其他类型的错误（如语法错误或无关查询）。这表明推理过程虽然提高了逻辑一致性，但也可能放大了特定类型的执行错误。

关键要点

• 多轮交互是常态，单轮评估已失效：企业级数据分析本质上是多轮对话，现有单轮基准无法反映真实场景下的模型能力，特别是记忆依赖性问题。
• EnterpriseMem-Bench 填补空白：这是一个包含 300 个会话、1,400 轮次、覆盖金融/证券/通用企业数据的程序化生成基准，具有确定性真值和细粒度的记忆关键性标注。
• 工作记忆是核心：在多轮 Text-to-SQL 中，扩大工作记忆窗口比增加复杂的情景检索或语义增强模块更有效。
• 记忆模块效果具有高度依赖性：增加记忆组件并非总是有益的，其效果取决于具体模型和数据集，可能带来 +14% 到 -16% 的波动。
• 无状态模型在多轮中迅速失效：无论模型多么强大，若无状态处理，第 3 轮后准确率即归零。
• 前沿模型存在性能波动：Claude Sonnet 4.6 在特定数据集（SEC EDGAR）上表现不如 Sonnet 4.5，提示模型迭代中可能出现特定领域的性能退化。
• 推理模式改变错误性质：启用推理后，模型错误趋于单一化（均为错误结果），说明推理机制改变了错误产生的分布形态。
• 开源贡献：研究团队已公开基准测试、智能体（Agent）代码及评估代码，促进社区进一步研究。

意义与影响

这项研究对企业级 AI 应用开发者和研究者具有重要的指导意义：

1. 重新定义评估标准：它呼吁社区从单轮评估转向多轮、基于真实企业场景的评估。EnterpriseMem-Bench 提供了一个标准化的测试床，使得不同模型在多轮记忆任务上的表现可比。
2. 优化系统架构设计：对于构建 Text-to-SQL 系统的工程师而言，研究结果提示应优先优化工作记忆窗口，而非盲目引入复杂的检索增强生成（RAG）或语义增强模块。记忆架构的设计需要针对特定模型和数据特征进行精细化调优。
3. 警惕模型迭代中的退化：Claude Sonnet 4.6 的性能倒退现象提醒我们，模型版本的升级并不总是意味着在所有任务上的全面进步，特别是在复杂的企业级查询场景下，需要进行细致的垂直领域评估。
4. 理解推理机制的副作用：研究揭示了推理模式对错误分布的影响，帮助开发者理解何时使用推理模式能带来收益，何时可能放大特定类型的错误。

总之，该研究不仅提供了一个新的基准，更通过实证数据揭示了多轮 Text-to-SQL 中记忆机制的复杂动态，为构建更可靠的企业级数据分析助手奠定了理论基础和实践指南。