Ollama + CherryStudio:构建本地私有知识库
前面我们介绍了Ollama的安装和使用,并通过Open-WebUI进行调用,相信大家对Ollama也有了一定的了解;这篇博文就结合Ollama工具和CherryStudio工具构建一个本地知识库(RAG);在进行接下来的操作之前,需要本地已经安装并配置好Ollama工具,还没有安装的小伙伴可以根据这篇博客完成本地安装;
一、下载模型
要构建本地私有知识库需要用到两个模型,一个是用于总结、生成文本的大语言模型,另外一个则是将本地知识进行特征化转换的Embedding模型;下面我们就通过Ollama来拉取这两种模型到本地;
1.1 启动Ollama
ollama serve
1.2 拉取大语言模型
登陆Ollama官网,选择适合的大语言模型,这里以deepseek- R1-1.5B为例,复制拉取命令到终端拉取模型;
1.3 拉取词嵌入模型(Embedding)
在Ollama官网的Models导航栏选择Embedding选项,选择适合的模型和上述相同的方式进行本地拉取;这里以bge-m3为例;
拉取到本地后,我们在终端通过‘ollama list’来查看本地模型列表,如下所示可以看到这两个模型已经全部拉取到本地;
二、CherryStudio
Cherry Studio 是一款支持多个大语言模型(LLM)服务商的桌面客户端,兼容 Windows、Mac 和 Linux 系统;
官方网站
Github
2.1 下载并安装
登陆CherryStudio官网,下载对应系统的安装包,按照安装提示进行本地安装;
2.2 适配Ollama
本地打开CherryStudio工具,如下图按顺序依次点击;
在管理界面,选择刚刚拉取的两个模型进行添加;
2.3 添加知识库
这里需要自己提供一个txt格式的文本文件,文本文件的内容就是需要部署的知识库文本,以问答的形式进行呈现,这里简单展示一下事例:
# knowledge.txt
1.**什么是Ollama?**
-Ollama 是一个开源的本地大语言模型(LLM)运行框架,允许用户在自己的计算机上轻松部署和运行各种大型语言模型,如 LLaMA、Mistral 等。
2.**Ollama支持哪些操作系统?**
-它支持多种操作系统,包括 Windows、macOS 和 Linux,并提供了命令行界面和 REST API 接口;
3.**如何安装使用Ollama工具?**
-请参考《Ollama:大模型部署工具安装及使用》这篇博客;
按照下图所示依次点击并添加提示信息,完成知识库添加;
接下来添加上面的 knowledge.txt文件,如下:
2.4 运行
所有配置都完成之后,我们就可以基于私有知识库进行问答了;如下图按照序号依次选择开启对话,选择大语言模型为Ollama导入的deepseek-R1:1.5B模型;
点击下方的知识库图标,选择已添加的知识库;
2.5 效果展示
这样以来,大模型就会参考私有化知识库的内容进行作答了;这里只是简单的介绍了一下私有化知识库的部署流程,大家可以根据这个流程深化自己的知识库,达到很高的输出效果~