【大模型-知识库之本地安装Embendding模型(BGE-M3)】
本地安装Embendding模型(BGE-M3)
- 拉取模型
- 1.安装Ollama
- 2.拉取BGE-M3模型
- 本地通过python 调用BGE-M3模型,将内容进行向量化
通过python进行文档内容的解析、分片、并调用向量模型将分片内容进行向量化,存入向量数据库中,其中向量转化可以使用开源的模型进行处理。
拉取模型
1.安装Ollama
访问Ollama官网下载并安装适用于本地操作系统的版本。
下载安装包后,执行安装程序,一直确认默认选项下一步就好。
安装完成后,在命令提示符或终端中执行:
ollama
显示如下即安装成功。
2.拉取BGE-M3模型
访问ollama官网,搜索BGE-M3模型,复制下载命令在命令提示符或终端中执行,等待下载,时间较长。
ollama pull bge-m3
等待模型下载完成,可通过 ollama list 验证是否安装成功
ollama list
本地通过python 调用BGE-M3模型,将内容进行向量化
在Pycharm的终端中安装 langchain-community 库
pip install langchain-community
此外,OllamaEmbeddings 可能依赖于其他库,具体取决于 langchain-community的实现细节。如果安装后遇到缺少其他库的错误,可以根据错误提示继续安装相应的库。
# 导入 OllamaEmbeddings 类,用于生成文本嵌入向量。
from langchain_community.embeddings import OllamaEmbeddings
# 初始化嵌入模型,指定模型名称为 bge-m3
embeddings = OllamaEmbeddings(model="bge-m3")
# 定义待处理文本
text = "Hello World!"
# 调用 embed_query 方法生成嵌入向量
embedding = embeddings.embed_query(text)
# 打印生成的嵌入向量的前5维特征值。
print(embedding[:5])
输出向量: