【Text2SQL】当前在BIRD基准测试集上取得SOTA的论文

论文《The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models》探讨了在大型语言模型（LLMs）时代，文本到SQL（Text-to-SQL）转换中模式链接（Schema Linking）的作用和重要性。论文没有提出其他新的方法，而是提出了一个观点，即随着语言模型的发展，模式链接在文本到SQL任务中的重要性可能会降低，尤其是在模型的上下文窗口足够大以容纳整个模式时。作者通过3个实验验证了这一观点，并提出了一种不依赖模式链接的文本到SQL管道，该管道在准确性上取得了优异的成绩，在BIRD基准测试中排名第一，准确率达到71.83%。

摘要

目的：模式链接是文本到SQL流程中的关键步骤，目的是检索目标数据库的表格和列，同时忽略不相关的部分。
问题：不完美的模式链接可能会排除生成准确查询所需的列。
研究发现：使用最新的大型语言模型时，即使存在大量不相关的模式元素，新模型也能在生成过程中利用相关的模式元素。
方法：作者提出了一种完全省去模式链接的文本到SQL管道，以最小化过滤所需模式元素的问题。
结果：该方法在BIRD基准测试中排名第一，准确率达到71.83%。

实验

实验设计

实验1：评估了不相关模式元素的包含对SQL生成的影响。作者创建了一个完美模式链接召回的场景，以确保SQL生成问题不是由于缺少所需列造成的。
实验2：评估了实际模式链接技术对所需列的召回率的影响，以及召回率不完美对生成的下游影响。
实验3：评估了在简化管道中加入增强、选择和校正技术对SQL生成准确性的影响。
实验3的方法：
1.增强（Augmentation）：通过扩展列描述、添加查询提示和使用链式思考（Chain-of-Thought, CoT）规划来增加上下文信息。
2.校正（Correction）：生成候选SQL查询后，基于数据库执行错误、数据库管理员指令和模型反馈进行迭代更正。
3.选择（Selection）：使用自洽性（self-consistency）生成多个响应，并选择最一致的结果。

实验细节

实验设置：所有实验中的温度都设置为零，并且尽可能使用结构化输出。
微调GPT-4o：迭代进行微调。在每次迭代中，首先在N个三元组样本上进行微调：自然语言查询、SQL查询和模式元素。然后，在BIRD的开发集上进行评估。
生成提示：图2显示了用于SQL生成的提示结构以及示例模式、输入查询和查询提示。

实验结果

实验1：发现随着假阳性率的降低，理想化执行准确性（IEX）提高，即包含不相关信息的列越少，SQL生成的准确性越高。
实验2：发现随着模型的SQL生成能力提高，模式链接的好处减少。在某些情况下，由于缺少生成所需的列，模式链接甚至可能导致准确性的净降低。
实验3：发现增强、选择和校正技术对生成准确性有显著的正面影响，而模式链接则没有。