TrustRAG:通过配置化模块化的检索增强生成（RAG）框架提高生成结果的可靠性和可追溯性

TrustRAG旨在风险感知的信息检索场景中提高生成内容的一致性和可信度。用户可以利用私有语料库构建自己的RAG应用程序，研究库中的RAG组件，并使用定制模块进行实验。论文展示了TrustRAG系统在摘要问答任务中的应用，并通过案例研究验证了其有效性。总体而言，TrustRAG通过语义增强索引、效用增强检索和引用增强生成，显著提高了RAG系统的可靠性和可信度。

研究背景

1. 研究问题：这篇文章要解决的问题是如何增强检索增强生成（RAG）系统的可信度。尽管RAG技术在提高答案准确性方面取得了显著进展，但生成结果的可信度仍然是一个挑战。
2. 研究难点：该问题的研究难点包括：处理实时信息的缺失、领域知识的不足以及生成虚假答案的风险，这些因素导致在实际应用中生成结果的不可靠性。
3. 相关工作：该问题的研究相关工作包括RAG框架的改进、源归属的改进以及各种开源系统的开发。例如，Self-RAG、ActiveRAG、CoRAG等框架旨在提高答案的准确性，而InstructRAG、LongCite、SelfCite等则专注于改进结果的可信度。此外，Langchain、LlamaIndex、LightRAG等开源系统支持RAG的开发和应用。

研究方法

这篇论文提出了TrustRAG框架，用于解决RAG系统可信度不高的问题。具体来说，TrustRAG从索引、检索和生成三个阶段进行改进：

1. 语义增强索引：为了解决现有文本分块方法导致的语义丢失问题，TrustRAG引入了语义增强分块策略。该策略首先使用大型语言模型（LLM）进行共指消解，以解决代词或不完全引用引起的歧义。其次，将文档中的时间字段标准化为基于发布日期的标准日期格式，以恢复丢失的语义信息。最后，支持高级语义分段技术，通过嵌入技术和大型语言模型动态识别语义边界，确保分块的高质量和上下文一致性。参见trustrag/modules/refiner/decontextualizer.py、trustrag/modules/chunks/semantic_chunk.py。
2. 效用增强检索：传统的RAG系统中，检索到的文档相关性仅由向量相似性决定。TrustRAG引入了效用判断和细粒度证据提取两个关键创新：
   • 效用判断：通过精心设计提示，使用大型语言模型评估每个文档对用户查询和生成任务的相关性。这种评估超越了表面相似性，结合了更深层次的上下文理解，确保只选择最有用的文档。参见trustrag/modules/judger/llm_judger.py。
   • 细粒度证据提取：在识别有用文档后，TrustRAG通过细粒度证据提取提取最相关的句子。该过程利用模型蒸馏技术降低计算成本，同时保持高准确性和相关性。参见trustrag/modules/refiner/compressor.py。
3. 引用增强生成：TrustRAG通过后生成引用和引用分组与交叉引用两个关键创新来克服传统RAG系统的局限性：
   • 后生成引用：在生成过程之后，TrustRAG将生成的答案与检索到的参考材料进行匹配，确保更高的引用准确性并显著加快生成过程。参见trustrag/modules/citation/match_citation.py。
   • 引用分组与交叉引用：为了增强可追溯性，TrustRAG将引用组织成逻辑组，并为用户提供更清晰的参考来源。此外，系统支持交叉引用，允许在不同引用之间建立联系，不仅提高了引用的清晰度，还增强了生成答案的可信度。参见trustrag/modules/citation/source_citation.py。

4. 附加模块

除了三个核心增强功能外，TrustRAG还提供了一套丰富的模块化功能，每个功能都旨在支持RAG流程的特定方面：
-文档解析：TrustRAG支持高效解析多种文件格式，包括PDF、Word和HTML，具备强大的跨语言功能。该模块确保高解析成功率，并能与多语言内容无缝集成。详见trustrag/modules/document了解实现细节。
-文本分块：从基本到高级的分块方法，该模块确保文本分割的语义一致性和连贯性。详见trustrag/modules/chunks。
-查询优化：TrustRAG通过查询扩展、分解、消歧和抽象等技术提高查询的准确性和效率。这些方法有助于完善用户查询，提升检索结果的质量。详见trustrag/modules/rewriter。
-检索排序：通过采用多路径检索和基于融合的重排序，TrustRAG确保高度相关性以及检索结果的可靠性和可信度。参见trustrag/modules/reranker。
-内容压缩：该模块利用有用性评估和语义增强技术从大量检索到的内容中提取高价值信息。参见trustrag/modules/refiner。
-模型生成：TrustRAG支持灵活调用各种大型语言模型，提供高效的推理和索引管理能力。参见trustrag/modules/generator。

通过这些全面的创新，TrustRAG显著提高了RAG系统的可靠性和可信度。其模块化且可配置的设计使用户能够根据不同的应用场景定制框架，并在广泛的用例范围内提供高质量且可信的输出。

实验设计

论文中没有详细描述具体的实验设计，但提到TrustRAG框架的两个主要组件：TrustRAG库和TrustRAG工作室。
TrustRAG库提供了覆盖索引、检索和生成阶段的全面管道，包含超过20个模块化组件。TrustRAG工作室提供了一个用户友好的Web界面，使用户能够浏览、配置、体验和创建RAG应用程序。此外，论文还提供了一个基于TrustRAG的摘要问答（ExQA）示例应用程序。

结果与分析

1. 系统输出展示：TrustRAG在生成答案时，首先呈现一个简短的摘要，提供对用户查询的高层响应。然后，答案的关键方面分别列出，每个方面都组织在一个加粗的子标题下，以便于导航。每个子标题下的证据直接来源于检索到的文档，系统清晰地列出了每个来源的标题、作者、发布日期和原始材料的链接。右侧面板提供了系统推理过程的详细信息，展示了系统如何解释用户查询意图并选择相关知识库中的相关信息。

优点与创新

1. 语义增强的索引：TrustRAG引入了语义增强的分块策略，通过共指消解和标准化的时间字段处理，提高了文本的语义和上下文连贯性。
2. 实用性增强的检索：通过引入实用性判断和细粒度的证据提取，TrustRAG能够优先选择对生成任务最有用的文档，从而提高检索结果的整体质量和可靠性。
3. 引用增强的生成：TrustRAG采用了生成后引用和引用分组与交叉引用的方法，确保了生成答案的准确性和可追溯性。
4. 无代码RAG应用开发：TrustRAG Studio提供了一个用户友好的Web界面，使用户能够在不编写任何代码的情况下创建自己的RAG应用。
5. 低代码RAG实验：TrustRAG库提供了超过20个模块化组件，支持低代码实验，用户可以灵活组合这些模块以构建可靠的RAG系统。
6. 示例应用：TrustRAG提供了一个基于摘要的问题回答（ExQA）示例应用，展示了系统在生成准确且可追溯的答案方面的能力。
7. 开源实现：TrustRAG的开源实现降低了研究人员和开发人员在客户端应用TrustRAG的门槛，提供了全面的文档以帮助用户使用。

不足与反思

1. 局限性：论文中提到，尽管TrustRAG在提高RAG系统的可靠性和可信度方面取得了显著进展，但在处理某些复杂或长文本时，仍然可能存在语义丢失的问题。
2. 下一步工作：未来的工作可能包括进一步优化语义增强的分块策略，改进实用性判断和细粒度证据提取的方法，以及探索更多应用场景以提高系统的通用性和实用性。

关键问题及回答

问题1：TrustRAG框架在语义增强索引方面有哪些具体的技术创新？

1. 共指消解：首先，TrustRAG使用大型语言模型（LLM）对每个文档进行共指消解，以解决代词或不完全引用引起的歧义。例如，当句子中出现代词“它”时，系统会识别其先行语并恢复丢失的上下文，从而增强文本的语义完整性。
2. 时间字段标准化：其次，TrustRAG将文档中的时间字段标准化为基于发布日期的标准日期格式。例如，如果文档的发布日期是“2025-02-18”，那么“昨天”和“上周五”会被转换为“2025-02-17”和“2025-02-14”。这不仅恢复了丢失的语义信息，还为后续的生成任务提供了更准确的上下文支持。
3. 高级语义分段：最后，TrustRAG支持高级语义分段技术，通过嵌入技术和大型语言模型动态识别语义边界。这种方法允许系统根据文本的语义结构自适应地分割文本，确保分块的高质量和高上下文一致性。

这些技术创新显著提高了文本索引的质量，为可靠的检索和生成任务奠定了坚实的基础。

问题2：TrustRAG框架在效用增强检索方面提出了哪些新的机制？

1. 效用判断：TrustRAG引入了一个关键创新点，即使用大型语言模型（LLMs）作为判别器来评估每个检索到的文档对用户查询和生成任务的实用性。通过精心设计的提示，系统不仅考虑文档的表面相似性，还结合更深层次的上下文理解，确保只选择最有用的文档。
2. 细粒度证据提取：在识别出有用文档后，TrustRAG通过细粒度证据提取进一步提取最相关的句子。这一过程利用模型蒸馏技术来降低计算成本，同时保持高准确性和相关性。通过专注于最相关的信息，系统确保生成任务接收到高质量的输入。

这些机制使得TrustRAG能够优先选择真正有用的信息，从而提高检索过程的整体质量和可靠性。

问题3：TrustRAG框架在归属增强生成方面有哪些创新之处？

1. 生成后引用：TrustRAG提出了一种在生成过程之后进行引用的方法。具体来说，系统将生成的答案与检索到的参考材料进行匹配，以确保更高的引用准确性，并显著加快生成过程。这种方法避免了在生成过程中嵌入引用可能带来的不确定性。
2. 引用分组和交叉引用：为了增强生成答案的可追溯性，TrustRAG将引用组织成逻辑组，并为用户提供更清晰的参考来源。此外，系统支持交叉引用，允许在不同引用之间建立联系。这不仅提高了引用的清晰度，还增强了生成答案的可信度。

这些创新确保了TrustRAG能够生成既准确又可追溯的答案，克服了传统RAG系统在引用准确性和可追溯性方面的主要局限。

TrustRAG 是一个可配置且模块化的检索增强生成（RAG）框架，旨在提供可靠的输入和可信的输出，确保用户在基于检索的问答场景中能够获得高质量且值得信赖的结果。以下是关于这个仓库的详细介绍：

快速开始

安装

• 方法1：通过 pip 安装
  1. 可选：创建conda环境

  conda create -n trustrag python=3.9
  conda activate trustrag
  

  2. 使用 pip 安装依赖

  pip install trustrag   
  

• 方法2：从源码安装
  1. 下载源码

  git clone https://github.com/gomate-community/TrustRAG.git
  

  2. 安装依赖

  pip install -e . 
  

模块概述

├── applications
├── modules
|      ├── citation: 答案和证据引用
|      ├── document: 文档解析和分块，支持多种文档类型
|      ├── generator: 生成器
|      ├── judger: 文档选择
|      ├── prompt: 提示词
|      ├── refiner: 信息汇总
|      ├── reranker: 排序模块
|      ├── retrieval: 检索模块
|      └── rewriter: 重写模块

仓库目录结构

• .flake8、.gitignore：代码风格检查和版本控制忽略文件
• Dockerfile、Makefile：用于构建Docker镜像和自动化构建的文件
• README.md、README_zh.md：项目说明文档
• app.py、app_local_model.py、app_paper.py：应用程序入口文件
• config.json：配置文件
• demo.py：演示文件
• download_nltk.py：下载NLTK数据的文件
• requirements.txt：项目依赖文件
• setup.cfg、setup.py：项目打包和安装配置文件
• data/：数据文件夹
• docs/：文档文件夹
• paper/：论文文件夹
• .github/、workflows/：GitHub Actions工作流文件夹
• trustrag.egg-info/：项目打包信息文件夹
• notebooks/：Jupyter Notebook文件夹
• resources/：资源文件夹
• api/：API文件夹
• tests/：测试文件夹
• examples/：示例文件夹
• output/：输出文件夹
• trustrag/：项目主要代码文件夹