当前位置: 首页 > article >正文

RB-SQL:利用检索LLM框架处理大型数据库和复杂多表查询的NL2SQL

NL2SQL的任务是将自然语言问题转换为SQL查询,以便从数据库中获取答案。现有LLM来指导SQL生成的方法在处理大型数据库和复杂多表查询时存在挑战,尤其是在处理冗余信息和提高提示工程效率方面。

(a) 利用大型语言模型(LLM)解决文本到SQL任务的一个示例。(b) DPR模型和提出的RB模型的图表。与DPR模型相比,RB模型将输入从文档扩展到其他数据类型(即表格、列、SQL框架)。

图片

为了解决上述问题,提出了RB-SQL框架,包含三个模块:

  • Table-Retriever:检索与问题最相关的表格。

  • Column-Retriever:在检索到的表格中进一步检索相关列。

  • SQL-Skeleton-Retriever:搜索具有相似SQL骨架的少量示例,并将SQL骨架引入示例组织,以增强上下文学习过程。

RB-SQL框架。表格检索器从数据库中筛选表格,列检索器进一步筛选列。SQL框架检索器用于选择相似的少量示例,并将SQL框架添加到示例组织中。

图片

RB-SQL框架利用密集型段落检索(Dense Passage Retrieval, DPR)模型来检索相关表格、列和示例,以构建有效的提示工程。此外,框架还引入了SQL骨架作为示例组织中的中间步骤,以指导正确的SQL生成过程。

(a) 表格检索器的工作流程。该模块计算问题与表格之间的相似度,并检索与问题高度相关的表格。(b) 表格检索器的框架。使用BERT分别对问题和表格进行编码,并使用基于MaxSim的后期交互来计算相似度得分。

图片

(a) 列检索器的工作流程。该模块检索与问题高度相关的列。(b) 列检索器的框架。

图片

(a) SQL骨架检索器的工作流程。 (b) SQL骨架检索器的框架。

图片

通过在公共数据集BIRD和Spider上的实验,结果表明RB-SQL模型在性能上优于几个竞争基线:GPT-4、DIN-SQL、DAIL-SQL

图片

图片

还进行了消融研究,证明了RB-SQL框架中所有模块对于性能提升都起到了重要作用。

图片

​​

https://arxiv.org/pdf/2407.08273RB-SQL: A Retrieval-based LLM Framework for Text-to-SQLprompt:https://anonymous.4open.science/r/Anonymize-A5E7/prompt_case.txt

 当前论文已经被作者撤回,不清楚为什么


http://www.kler.cn/a/301901.html

相关文章:

  • Ubuntu安装ollama,并运行ollama和通义千问,使用gradio做界面
  • 蓝桥杯——数组
  • SpringBoot 应用出错 Comparison method violates its general contract!
  • 二五、pxe自动装机
  • jenkins用户在执行scp的时候如何做免密登录
  • 《Django 5 By Example》阅读笔记:p105-p164
  • JAVAWeb-XML-Tomcat(纯小白下载安装调试教程)-HTTP
  • 算法设计(二)
  • 【Java OJ】弦截法求根(循环)
  • 针对网上nbcio-boot代码审计的actuator方法的未授权访问漏洞和ScriptEngine的注入漏洞的补救
  • 基线代理 AI 系统架构
  • 一个以细节见功底的JAVA程序
  • MySQL——数据库的高级操作(二)用户管理(2)创建普通用户
  • 春招审核新策略:Spring Boot系统实现
  • 大型语言模型:通过代码生成、调试和 CI/CD 集成改变软件开发的游戏规则
  • 大数据新视界 --大数据大厂之Flink强势崛起:大数据新视界的璀璨明珠
  • Stable Diffusion绘画 | ControlNet应用-Tile(分块)—tile_resample(分块-重采样)
  • asio中的异步accept分析
  • 如何将 Electron 项目上架 Apple Store
  • 【时时三省】c语言例题----华为机试题<进制转换>
  • Android-10分区存储介绍及百度APP适配实践(1)
  • google vr 入门之制作简易的VR播放器(二)
  • 基于OpenCV与MQTT的停车场车牌识别系统:结合SQLite和Flask的设计流程
  • 基于Qt的自定制WPS
  • 垃圾回收
  • Flutter集成Firebase中的Realtime Analytics