Ollama + AnythingLLM + Deepseek r1 实现本地知识库

1、Ollama：‌是一个开源的大型语言模型
(LLM)服务工具，旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛‌。

2、AnythingLLM：是由Mintplex Labs Inc.
开发的一款全栈应用程序，旨在构建一个高效、可定制、开源的企业级文档聊天机器人解决方案。AnythingLLM支持几乎所有的主流大模型和多种文档类型，能够通过将文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文，从而构建一个专属的AI知识库‌。

3、Deepseek r1：‌是由深度求索
（DeepSeek）研发的一款大语言模型，属于幻方量化
旗下的AI公司。DeepSeek-R1在自然语言处理、科学推理和编程任务等方面表现出色。

4、安装( 如果下载不了，可以将文件的链接地址放到迅雷里下载。)：

安装之前一定要查看是否有足够的硬盘空间。

1）下载Ollama

Download Ollama on macOS

简单测试：

当然也可以下载：qwen2.5:7b

常用命令：

ollama list：显示模型列表。

ollama show：显示模型的信息

ollama pull：拉取模型

ollama push：推送模型

ollama cp：拷贝一个模型

ollama rm：删除一个模型

ollama run：运行一个模型

2）下载AnythingLLM

https://anythingllm.com/desktop

3）安装

双击OllamaSetup.exe，这个是在windows下安装的.

只要默认安装即可。安装成功后，会弹出一个命令行提示成功。

然后双击AnythingLLMDesktop.exe安装，默认安装即可。

下面是设置：

下载Deepseek r11.5B 作为LLM

有一步要输入email的，可以点下面的按钮，跳过。

输入工作区名称：比如 myworkspace-1

选择deepseekr1:1.5b

点击【设置】扳手图标：

当然也可以安装其它的比如：Qwen

 最后安装了二个大模型：

4）提问：

比如：上面是我问的冒泡排序的几种语言的不同实现。

5）设置及训练大模型：

点击【上传】按钮，就可以上传文本（pdf、word、txt）等等格式，只要是文本就可以了。右侧的【设置】按钮，是设置当前工作区的。

这里做个文档，然后上传到工作区中测试下效果：

保存，如果报错：documents failed add，则要进行设置：

ollama pull nomic-embed-text

本地库的相关设置：

聊天模式：改为【查询】。以下是文档中查询的效果：

测试了几次，有的时候本地的查询在转圈出不来，重新新建以后，再次查询才出来以上的效果。