【大语言模型】ACL2024论文-09 无监督信息精细化训练用于增强大型语言模型的检索增强生成

【大语言模型】ACL2024论文-09 无监督信息精细化训练用于增强大型语言模型的检索增强生成

目录

1. 论文信息

https://arxiv.org/pdf/2402.18150

无监督信息精细化训练用于增强大型语言模型的检索增强生成

2. 摘要

本文提出了一种新的视角，将大型语言模型（LLMs）在检索增强生成（RAG）中的作用视为“信息精炼器”。这意味着无论检索到的文本的正确性、完整性或有用性如何，LLMs都能持续地整合检索文本和模型参数中的知识，生成比检索文本更简洁、准确和完整的文本。为此，我们提出了一种名为INFO-RAG的信息精细化训练方法，以无监督的方式优化LLMs在RAG中的表现。INFO-RAG成本低且适用于多种任务。通过在包括问答、槽填充、语言建模、对话和代码生成等多种任务的11个数据集上进行广泛实验，我们展示了INFO-RAG如何提升LLaMA2模型性能，平均提升9.39%。INFO-RAG在上下文学习和RAG的鲁棒性方面也显示出优势。

3. 研究背景

检索增强生成（RAG）是一种流行的框架，它通过检索额外信息来增强神经网络的文本生成能力。尽管检索模型的性能有所提高，但互联网上充斥着假新闻、谣言和碎片化、嘈杂的信息，这给检索模型可靠地识别和屏蔽这些内容带来了挑战。因此，并非所有检索到的文本都是有益的，需要LLMs学会如何明智地利用它们。然而，预训练任务并没有明确地使LLMs学会如何利用不同质量的检索文本进行生成。

4. 问题与挑战

LLMs在有效使用检索信息方面面临挑战，有时甚至忽略或被检索信息误导。主要原因是LLMs的训练没有明确让它们学会如何利用不同质量的输入检索文本。此外，LLMs在处理长而复杂的检索文本时难以准确提取正确答案，缺乏将模型内知识与检索文本整合以生成改进文本的能力，并且容易受到检索文本中错误和噪声信息的影响。

5. 如何解决

为了解决上述问题，本文提出了INFO-RAG，这是一种无监督训练方法，通过将检索文本分类为三种场景，并为每种场景提出无监督训练任务。INFO-RAG通过以下三种任务进行训练：

1. 选择和复制（Select and Copy）：从复杂文本中准确提取相关知识，并生成更简洁的文本。
2. 校正和完成（Correct and Complete）：结合模型参数中的知识验证检索文本，纠正错误知识，补全缺失知识。
3. 上下文激发（Contextual Stimulation）：基于相关上下文，从模型参数中找到知识以生成正确答案。

6. 创新点

• 信息精炼器视角：将LLMs在RAG中的角色重新定义为“信息精炼器”，强调了LLMs整合检索文本和模型参数知识的能力。
• 无监督训练方法：提出了INFO-RAG，这是一种完全无监督的训练方法，易于获取大规模训练数据，并保持了训练后LLMs的泛化能力。
• 多任务训练：通过混合三种训练任务进行多任务训练，提高了模型的泛化能力。

7. 算法模型

INFO-RAG的训练方法基于无监督学习，具体包括数据收集、数据构建和训练任务。数据收集是在英文维基百科上进行的，对于每个文档，截取k个连续句子作为句子集合S。数据构建和训练任务针对三种场景进行设计，包括选择和复制、校正和完成、上下文激发。这些任务通过模拟检索文本和目标文本之间的关系，训练LLMs进行信息精炼。

8. 实验效果

实验在11个数据集上的7个任务中进行，包括问答、槽填充、语言建模、对话和代码生成。实验结果显示，INFO-RAG在零样本设置下提高了LLaMA2的性能，平均提升9.39%。此外，INFO-RAG在上下文学习和RAG的鲁棒性方面也显示出优势。

重要数据与结论

• 性能提升：INFO-RAG在多个任务中提升了LLaMA2的性能，特别是在问答和槽填充任务中，提升了对检索文本知识的利用能力。
• 跨任务泛化性：INFO-RAG不仅在自然语言任务中表现良好，还能提升编程语言任务的性能，显示了跨任务的泛化能力。
• 鲁棒性：INFO-RAG在面对错误、不完整和嘈杂的检索文本时，表现出更好的鲁棒性。
  
  
  
  

9. 推荐阅读指数：★★★★☆

后记

如果您对我的博客内容感兴趣，欢迎三连击 (***点赞、收藏和关注 ***）和留下您的评论，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。