深度学习-105-RAG技术之嵌入模型安装部署应用的三种方式
文章目录
- 1 RAG技术背景
-
- 1.1 RAG原理
- 1.2 技术选型
- 2 Nomic-Embed-Text嵌入模型
-
- 2.1 基于Ollama和langchain
- 2.2 基于sentence_transformers
-
- 2.2.1 下载模型
- 2.2.2 基本使用
- 2.2.3 封装为类
- 2.3 基于transformers
-
- 2.3.1 基本使用
- 2.3.2 封装为类
- 3 参考附录
1 RAG技术背景
初期接触LLM即大语言模型，觉得虽然很强大，但是有时候AI会一本正经的胡说八道，这种大模型的幻觉对于日常使用来说具有很大的误导性，特别是如果我们要用在生成环境下，由于缺少精确性而无法使用。
为什么会造成这种结果那，简单来说就是模型是为了通用性设计的，缺少相关知识，所以导致回复的结果存在胡说八道的情况，根据香农理论，减少信息熵，就需要引入更多信息。
从这个角度来说，就有两个途径：
一是重新利用相关专业知识再次训练加强模型，或进行模型微调， 模型训练的成本是巨大的，微调也需要重新标记数据和大量的计算资源，对于个人来说基本不太现实。
二是在问LLM问题的时候，增加些知识背景，让模型可以根据这些知识背景来回复问题；后者即是知识库的构建原理了。
有个专门的概念叫RAG(Retrieval-Augmented Generation)，即检索增强生成，是一种结合检索技术和生成模型的技术框架，旨在提升模型生成内容的准确性和相关性。其核心思想是：在生成答案前，先从外部知识库中检索相关信息，再将检索结果与用户输入结合，指导生成模型输出更可靠的回答。