当前位置: 首页 > article >正文

Ollama + CherryStudio:构建本地私有知识库

       前面我们介绍了Ollama的安装和使用,并通过Open-WebUI进行调用,相信大家对Ollama也有了一定的了解;这篇博文就结合Ollama工具和CherryStudio工具构建一个本地知识库(RAG);在进行接下来的操作之前,需要本地已经安装并配置好Ollama工具,还没有安装的小伙伴可以根据这篇博客完成本地安装;

一、下载模型 

       要构建本地私有知识库需要用到两个模型,一个是用于总结、生成文本的大语言模型,另外一个则是将本地知识进行特征化转换的Embedding模型;下面我们就通过Ollama来拉取这两种模型到本地;

1.1 启动Ollama

ollama serve

1.2 拉取大语言模型 

       登陆Ollama官网,选择适合的大语言模型,这里以deepseek- R1-1.5B为例,复制拉取命令到终端拉取模型;

1.3 拉取词嵌入模型(Embedding) 

       在Ollama官网的Models导航栏选择Embedding选项,选择适合的模型和上述相同的方式进行本地拉取;这里以bge-m3为例;

       拉取到本地后,我们在终端通过‘ollama list’来查看本地模型列表,如下所示可以看到这两个模型已经全部拉取到本地; 

 二、CherryStudio

       Cherry Studio 是一款支持多个大语言模型(LLM)服务商的桌面客户端,兼容 Windows、Mac 和 Linux 系统;

官方网站
Github

2.1 下载并安装

       登陆CherryStudio官网,下载对应系统的安装包,按照安装提示进行本地安装;

2.2 适配Ollama

       本地打开CherryStudio工具,如下图按顺序依次点击;

       在管理界面,选择刚刚拉取的两个模型进行添加;

2.3 添加知识库

       这里需要自己提供一个txt格式的文本文件,文本文件的内容就是需要部署的知识库文本,以问答的形式进行呈现,这里简单展示一下事例:

# knowledge.txt

1.**什么是Ollama?**
 -Ollama 是一个开源的本地大语言模型(LLM)运行框架,允许用户在自己的计算机上轻松部署和运行各种大型语言模型,如 LLaMA、Mistral 等。
2.**Ollama支持哪些操作系统?**
 -它支持多种操作系统,包括 Windows、macOS 和 Linux,并提供了命令行界面和 REST API 接口;
3.**如何安装使用Ollama工具?**
 -请参考《Ollama:大模型部署工具安装及使用》这篇博客;

       按照下图所示依次点击并添加提示信息,完成知识库添加;

        

       接下来添加上面的 knowledge.txt文件,如下:

2.4 运行

       所有配置都完成之后,我们就可以基于私有知识库进行问答了;如下图按照序号依次选择开启对话,选择大语言模型为Ollama导入的deepseek-R1:1.5B模型;

       点击下方的知识库图标,选择已添加的知识库;

 

2.5 效果展示 

       这样以来,大模型就会参考私有化知识库的内容进行作答了;这里只是简单的介绍了一下私有化知识库的部署流程,大家可以根据这个流程深化自己的知识库,达到很高的输出效果~


http://www.kler.cn/a/589573.html

相关文章:

  • CC45.【C++ Cont】STL中的哈希表及练习
  • 定时器‘PWM和串口通信(20250317)
  • cesium 实现万级管网数据渲染,及pickImageryLayerFeatures原生方法改写
  • 网络性能指标
  • 五金打磨车间降温设备都哪些?
  • 在 TypeScript 中,两个看似相同的字符串用 `==` 比较返回 `false`
  • 【Agent】OpenManus-Prompt组件详细分析
  • C3P0数据库连接池技术详解及实战
  • 【网站检测工具Web-Check】Web-Check本地部署与远程访问解决方案全面掌控网站状态
  • CentOS 7 更换 YUM 源为国内
  • Android视频渲染SurfaceView强制全屏与原始比例切换
  • 【Go】go语言指针
  • 计算机网络:(二)计算机网络在我国发展与网络类别与性能 (附带图谱更好对比理解)
  • python | 输入日期,判断这一天是这一年的第几天
  • 基于CPLD电力/轨道交通3U机箱开关量输出板(DO)
  • KV 缓存简介
  • 最长最短单词(信息学奥赛一本通-1143)
  • 京东Taro小程序原生端接入操作
  • 第四十八篇——数学和其它学科:为什么数学是更底层的工具?
  • provide/inject源码实现