自动发现文本转SQL潜在漏洞新框架

背景

大型语言模型（LLM）在 Text-to-SQL 任务中取得了显著成功，能够将自然语言问题自动转换为可执行的 SQL 查询。然而，当这些模型被部署到真实世界的数据库接口时，潜在的可靠性问题成为关键障碍。传统的诊断方法主要依赖静态的、由专家定义的规则来识别模型弱点，这种方法缺乏系统性和自动化探索能力，难以全面覆盖模型中隐藏的、非直观的失败模式。因此，亟需一种能够自主、系统性地发现潜在脆弱性的方法，以构建可信赖的数据库交互系统。

核心内容

本文提出 SAGE（Systematic Automated Guided Exploration，系统性自动化引导探索）框架，旨在自主发现基于 LLM 的 Text-to-SQL 生成中的潜在失败模式。具体而言，SAGE 针对给定的样本生成漏洞假设（vulnerability hypotheses），并参考一个持续演进的“Vulnerability Codex”（漏洞法典）来设计有针对性的扰动（perturbations），从而迭代地验证和记录潜在的缺陷。Vulnerability Codex 是一个不断积累和更新的知识库，包含从先前探索中提取的通用弱点模式，使得后续的测试能够更加高效地发现新的失败案例。

SAGE 的工作流程如下：

1. 假设生成：对于每个输入样本，SAGE 基于当前 Vulnerability Codex 中的模式，生成可能的漏洞假设（例如，模型在处理特定类型的复杂条件、嵌套查询或模糊语义时可能出错）。
2. 扰动设计：根据漏洞假设，SAGE 对原始样本进行针对性的扰动（如改变问题表述、增加无关约束、调整表结构描述等），生成一组测试用例。
3. 迭代验证：将扰动后的样例输入目标 LLM 进行 Text-to-SQL 生成，并与预期结果对比。如果生成失败，则记录该失败模式，并将其抽象化后更新到 Vulnerability Codex 中；如果成功，则调整扰动策略继续探索。
4. 文档化：所有发现的失败案例及其对应的漏洞模式都被系统性地归档，形成可复现的测试集。

论文在多个开源 LLM（如 Llama 系列等）上进行了大量实验。结果表明，SAGE 能够发现大量且多样的失败案例，而这些案例是传统静态规则难以捕捉的，凸显了当前模型在 Text-to-SQL 任务中的显著脆弱性。进一步分析显示，Vulnerability Codex 中的模式具有较强的跨模型迁移性——即在某一模型上发现的漏洞规律，往往也能在其他模型上引发类似失败，说明这些模式代表了广义的结构性弱点，而非特定模型的偶发问题。

此外，论文初步探索了 SAGE 在修复方面的潜力。通过对 SAGE 生成的失败样本进行轻量级微调（lightweight fine-tuning），模型的性能获得了有希望的改进。虽然这只是初步结果，但表明可以利用自动发现的失败样本形成一个可扩展的可靠性闭环：先发现漏洞，再针对性修复，从而逐步提升模型在实际部署中的鲁棒性。

关键要点

• 传统 Text-to-SQL 模型诊断依赖静态专家规则，缺乏自动化与系统性，难以发现隐藏的弱点。
• SAGE 框架通过“漏洞假设 → 扰动设计 → 迭代验证 → 知识更新”的循环，自主发现 LLM 的潜在失败模式。
• Vulnerability Codex 是持续演进的通用弱点知识库，支持跨样本、跨模型的迁移能力。
• 实验证明 SAGE 能在开源 LLM 上发现大量失败案例，且发现的模式具有跨模型泛化性，表明这些是广义结构弱点。
• 初步修复实验表明，使用 SAGE 生成的失败样本进行轻量微调可带来性能提升，展现可扩展的可靠性闭环潜力。

意义与影响

这项研究打破了传统依赖专家规则的诊断范式，将漏洞发现从手工设计转向自动化引导，显著提升了测试覆盖率和效率。SAGE 框架不仅适用于 Text-to-SQL 任务，其“假设驱动 + 知识库演进”的机制可推广到其他 LLM 应用（如代码生成、问答系统等），为构建可信 AI 系统提供了方法论支撑。跨模型迁移性的发现暗示存在一类与模型架构无关的固有脆弱性，这为未来设计更鲁棒的模型架构和训练策略提供了重要线索。同时，将自动发现的失败样本直接用于微调修复，实现了“发现-修复”的闭环，有望大幅降低人工标注成本，加速 LLM 在关键领域的落地。尽管修复实验仍处于初步阶段，但这一方向展示了从诊断到修复的自动化通路，对提升 LLM 在实际部署中的可靠性和安全性具有重要实践价值。