当前位置：首页 > article >正文

RAG技术：通过向量检索增强模型理解与生成能力

article 2025/1/30 3:07:48

在这里插入图片描述

网罗开发 （小红书、快手、视频号同名）

大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。

图书作者：《ESP32-C3 物联网工程开发实战》
图书作者：《SwiftUI 入门，进阶与实战》
超级个体：COC上海社区主理人
特约讲师：大学讲师，谷歌亚马逊分享嘉宾
科技博主：极星会首批签约作者

文章目录

- 摘要
- 引言
- RAG技术原理
- 搭建向量检索系统与生成模型相结合的应用
- - 数据准备
  - 模型训练
  - 系统架构
  - 示例代码
  - 优化与改进
- QA环节
- 总结

摘要

本文介绍了RAG（检索增强生成）技术的原理与应用，特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。针对大模型缺乏实时知识和生成内容易出错的问题，本文提出了一种结合向量检索与生成模型的方法，并提供了可运行的示例代码模块。

引言

随着人工智能技术的快速发展，生成模型在各个领域的应用越来越广泛。然而，大模型在缺乏实时知识更新和生成内容准确性方面仍存在挑战。RAG技术通过结合向量检索与生成模型，有效解决了这些问题，提高了模型对外部知识的理解和生成能力。

RAG技术原理

RAG技术主要通过“检索+生成”两个阶段结合来处理复杂的问题。具体来说，它首先利用向量检索技术从知识库中提取与问题语义相关的内容，然后通过生成式AI模型将检索到的内容与用户问题结合，生成自然语言回答。

向量检索的核心是将用户问题和知识库内容转化为高维语义向量，并通过数学方法计算两者之间的距离，从而判断它们的语义相关性。距离越近，匹配度越高。

搭建向量检索系统与生成模型相结合的应用

数据准备

收集大规模的文本数据和知识图谱，用于训练生成模型和构建向量检索系统的索引。

模型训练

利用生成模型技术对文本数据进行训练，生成能够理解自然语言的大规模深度学习模型。同时，利用向量检索技术构建搜索引擎索引。

系统架构

系统架构主要包括向量检索模块和生成模型模块。向量检索模块负责从知识库中提取与问题相关的内容，生成模型模块负责将检索到的内容与用户问题结合，生成自然语言回答。

示例代码

以下是一个简单的示例代码模块，展示了如何搭建向量检索系统与生成模型相结合的应用。

# 安装必要的Python包
!pip install langchain langchain_openai singlestoredb

# 导入必要的库
import os
import getpass
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import SingleStoreDB
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 设置OpenAI API密钥
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 加载和处理文档
loader = TextLoader("path_to_your_document.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 创建嵌入模型
embeddings = OpenAIEmbeddings()

# 配置SingleStoreDB连接
os.environ["SINGLESTOREDB_URL"] = "root:password@localhost:3306/database_name"

# 创建向量存储和检索器
docsearch = SingleStoreDB.from_documents(docs, embeddings, table_name="vector_store")
retriever = docsearch.as_retriever(search_kwargs={"k": 2})

# 使用检索器进行搜索
query = "What did the president say about Ketanji Brown Jackson"
results = retriever.invoke(query)
for doc in results:
    print(doc.page_content)
    print("---")