Spider 2.0-AIFunc：从文本转SQL迈向AI原生SQL工作流
速览
Spider 2.0-AIFunc是专为评估“AI原生SQL”生成能力而设计的新基准，包含465个真实数据库实例，覆盖分类、筛选、情感分析等六大AI函数。测试表明，最强闭源模型执行准确率约67-70%，开源模型最佳为58.1%，主要瓶颈在谓词指定、模式接地与AI函数参数化。传统Agent框架在AI原生SQL场景中表现不佳，简单Agent设置反而更优。数据已开源。
AI 深度解读
背景
随着云数据平台纷纷将大语言模型能力封装为原生 SQL 函数，分析师现在可以在普通 SQL 查询中直接执行分类、过滤、情感分析、提取、相似度搜索和聚合等 AI 任务。然而，现有的 text-to-SQL 基准仅评测传统 SQL，无法衡量模型能否生成这类 AI-native SQL。为填补这一空白，研究者提出了 Spider 2.0-AIFunc 基准。
核心内容
Spider 2.0-AIFunc 是一个包含 465 个经过验证的实例的基准，覆盖 125 个真实世界数据库，涉及 Snowflake 平台上的六种 AI 函数类型。该基准从现有的企业级 text-to-SQL 基准出发，通过基于 agent 的流水线将源任务重写为 AI-native 形式：同时转换目标查询并精炼自然语言指令，使预期的 AI-native 解决方案明确化，降低歧义。所有实例在发布前均需通过跨时间窗口的多轮重复执行协议，以确认结果稳定性。
研究团队评估了十个最先进的语言模型，发现最强专有模型的执行准确率达到 67%–70%，而最佳开源模型仅达 58.1%。这一差距主要源于谓词指定、schema 接地（schema grounding）和 AI 函数参数化方面的错误。针对传统 text-to-SQL 挑战设计的 agent 框架（如 schema 检索和表选择）在 AI-native SQL 场景下效果不佳：一个最简化的 agent 设置始终与更复杂的方案持平甚至更优，表明这些框架所采用的策略在本场景中并非关键。
数据可在 https://xxx 获取（注：原文链接为 https this URL，实际为 arXiv 页面）。
关键要点
- 基准规模：465 个经过验证的实例，覆盖 125 个真实数据库，六种 AI 函数类型（分类、过滤、情感分析、提取、相似度搜索、聚合）。
- 构建方法：基于 agent 的流水线，从现有企业 text-to-SQL 基准转换而来，同时修改目标查询和自然语言指令，确保 AI-native 意图清晰。
- 验证协议：多轮重复执行，跨时间窗口验证结果稳定性，数据发布前经过严格校验。
- 模型性能：最强专有模型（如 GPT-4 等）执行准确率 67%–70%，最佳开源模型 58.1%，差距主要来自谓词指定、schema 接地和 AI 函数参数化。
- Agent 框架有效性：传统 text-to-SQL 的 agent 策略（如 schema 检索、表选择）在 AI-native SQL 中不必要，最简 agent 配置即可达到甚至超越复杂方案。
- 数据可用性：基准数据已公开，可访问 arXiv 对应页面获取。
意义与影响
Spider 2.0-AIFunc 首次系统性地将 text-to-SQL 评测扩展到 AI-native SQL 工作流，揭示了当前模型在调用 AI 函数时的能力边界与主要错误来源。对于云数据平台（如 Snowflake）而言，AI 函数正成为标准功能，该基准为模型开发者提供了明确的评测方向，有助于推动模型在真实企业数据分析场景中的落地。此外，研究发现传统 agent 框架在 AI-native 场景下效果有限，提示研究者需要重新设计针对 AI 函数调用的策略，而非简单地复用已有的 schema 探索方法。该基准的发布也为后续研究提供了标准化的测试集，有望加速 AI-native SQL 生成技术的进步。