深度学习-82-大语言模型LLM之基于langchain加载本地文档向量存储后检索
文章目录
- 1 langchain
-
- 1.1 LangChain简介
- 1.2 LangChain架构
- 1.3 向量存储
- 2 加载文档(document_loaders)
-
- 2.1 网页文本
- 2.2 本地文本
- 2.3 文本分割
- 3 嵌入模型(OllamaEmbeddings)
- 4 向量存储(FAISS)
-
- 4.1 向量存储
- 4.2 应用检索
- 5 附录
-
- 5.1 整体代码
- 5.2 参考附录
Ollama是建立在llama.cpp开源推理引擎基础上的大模型推理工具框架，Ollama能够在包括CPU、GPU在内的不同的硬件环境上，运行各种精度的GGUF格式大模型。
可以通过执行一个ollama run命令来运行Hugging Face上4.5万多个GGUF格式大模型，另外也可以直接加载运行ModelScope模型库上的GGUF模型。
GGUF(Georgl Gerganovs Universal Format)是一种专门为大型语言模型(LLM)设计的文件格式，由llama.cpp项目开发。这种格式的主要目标是提高模型的推理速度和优化内存占用，以适应资源受限的设备上部署大型语言模型的需求，它代表了对之前GGML(Georgl Gerganovs Machine Learning)格式的重要升级。
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于LLM推理和服务，可以和HuggingFace无缝集成。
1 langchain
要求python版本3.9及以上。
大型语言模型（LLM）正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序。然而，孤立地使用这些 LLM 通常不足以创建一个真正强大的应用程序 —— 真正的力量来自于您可以将它们与其他计算或知识来源相结合。该库旨在