UniQL：迈向方言通用的 Text-to-SQL 基准测试

背景

当前的 Text-to-SQL（自然语言转 SQL）研究主要依赖于 SQLite 数据库作为基准。这种单一的数据环境导致现有的评估体系难以衡量模型在异构 SQL 方言（Dialects）之间的泛化能力。

然而，现实世界中的数据库系统（如 PostgreSQL、MySQL、BigQuery、Snowflake 等）在语法结构、内置函数、类型系统以及执行语义上存在显著差异。这意味着，即使自然语言意图完全相同，针对不同数据库系统生成的 SQL 语句也必须进行特定的方言适配。现有的基准测试无法有效反映模型处理这种“方言特异性”的能力，从而造成了评估结果与实际应用需求之间的脱节。

核心内容

为了解决上述问题，研究团队提出了 UniQL，这是一个经过人工验证的跨方言 Text-to-SQL 评估基准。UniQL 的核心目标是构建一个能够统一衡量模型在不同 SQL 方言间泛化能力的标准。

1. 数据集构建与规模

UniQL 包含以下关键数据特征：

• 多方言对齐：将 1,534 个自然语言问题与 16 种不同 SQL 方言的可执行 SQL 注释进行对齐。
• 数据体量：最终生成了 24,544 条特定方言的查询语句。
• 控制变量：所有方言共享相同的业务意图（Intents）、对齐的模式（Schema）以及数据库内容。这种设计使得研究者可以隔离变量，专门评估模型在方言泛化方面的表现，而非受限于数据分布或模式差异。

2. 构建流程

UniQL 的构建采用了一种混合流水线（Hybrid Pipeline），结合了多种技术手段以确保数据质量和准确性：

1. 数据库迁移：将数据迁移至不同的方言环境。
2. SQL 翻译：将标准 SQL 转换为特定方言的语法。
3. 执行引导的验证：通过实际执行查询来验证 SQL 的正确性。
4. 迭代规则总结：基于执行结果迭代优化转换规则。
5. 人工验证：最后由人类专家对数据进行最终校验，确保语义和语法的准确性。

3. 实验结果

研究团队在 UniQL 基准上对多个开源和闭源的大型语言模型（LLMs）进行了测试。实验结果表明：

• 方言通用性不足：当前的模型距离真正的“方言通用”仍有很大差距。
• 性能波动大：模型在不同数据库系统上的表现存在显著差异。
• 迁移能力有限：模型在 SQLite 上取得的优异成绩，并不能有效迁移到其他方言数据库上。

关键要点

• 痛点识别：现有 Text-to-SQL 基准过度依赖 SQLite，无法评估模型在 PostgreSQL、MySQL、BigQuery 等异构数据库间的泛化能力。
• UniQL 定义：UniQL 是一个包含 16 种 SQL 方言、24,544 条查询、1,534 个自然语言问题的跨方言基准测试集。
• 一致性设计：所有方言共享相同的意图、Schema 和数据内容，确保了评估的公平性和可控性。
• 构建方法：采用“数据库迁移 + SQL 翻译 + 执行验证 + 规则迭代 + 人工校验”的混合流水线构建数据。
• 现状揭示：主流 LLMs 在跨方言任务中表现不佳，SQLite 上的成功无法直接转化为其他方言的高准确率。
• 资源开放：代码和数据已公开，供社区进一步研究。

意义与影响

UniQL 的发布对 Text-to-SQL 领域具有重要的推动作用：

1. 填补评估空白：它提供了一个标准化的框架，用于量化评估模型在处理异构数据库方言时的真实能力，弥补了现有基准测试的缺陷。
2. 揭示模型局限：实验结果明确指出了当前大模型在“方言感知”方面的短板，表明简单的微调或在 SQLite 上的训练不足以应对生产环境中的复杂数据库生态。
3. 指引研究方向：研究结果呼吁开发更“方言感知”（Dialect-aware）的 Text-to-SQL 方法。未来的模型需要更好地理解不同数据库系统的语法差异和执行语义，而不仅仅是学习自然语言到 SQL 的映射。
4. 促进实际应用：随着企业数据栈的多样化（如同时使用 Snowflake、BigQuery 和传统关系型数据库），UniQL 为构建能够无缝适应多种后端数据库的智能数据接口提供了必要的评估工具和理论依据。