【AI大模型】Cherry Studio和Deepseek模型搭建本地知识库+硅基流动API调用+本地ollama模型调用

背景说明

1. 知识管理需求与AI技术的融合

在信息爆炸时代，个人与企业面临知识存储碎片化、检索效率低、多模态数据处理复杂等挑战。传统知识库依赖人工整理和规则化检索，难以应对动态增长的非结构化数据（如文档、图片、语音等），而AI大模型通过自然语言理解、推理能力及多模态分析，可实现智能化的知识提取、关联与交互，成为构建新一代知识库的核心技术支撑。

2. DeepSeek-R1的核心技术优势

作为近期备受关注的国产开源模型，DeepSeek-R1在本地知识库构建中展现出以下独特优势：

• 强化学习驱动的推理能力：通过大规模强化学习技术优化模型推理步骤，显著提升复杂问题解决能力（如数学推导、代码生成），同时减少对监督数据的依赖，降低训练成本。

• 长链推理（Chain-of-Thought, CoT）：支持多步骤逻辑分解，能够模拟人类思维过程，适用于需要深度分析的场景（如法律条文解读、科研文献归纳）。

• 本地化与隐私保护：支持离线部署，所有数据处理均在本地完成，避免敏感信息泄露风险，满足金融、医疗等对数据安全要求高的行业需求。

• 开源与灵活性：采用MIT协议开源，允许用户自由修改模型并与其他工具（如Ollama、Open-WebUI）集成，便于构建定制化知识库界面与功能。

3. 本地知识库构建的实际应用场景

• 企业文档智能管理：通过整合DeepSeek-R1与工具链（如AnythingLLM），实现PDF、Markdown等格式文档的自动化解析、向量化存储及语义检索，提升法务、研发等部门的效率。

• 金融行业合规与投研：多家头部基金公司（如汇添富、博时）已部署DeepSeek-R1，用于研报解析、风险合规检查及客户服务，其文本解析准确率超过90%，显著降低人工审核成本。

• 多模态知识融合：尽管当前版本以文本处理为主，但其未来规划包含图像识别与语音处理功能，可扩展至设计素材管理、医学影像分析等领域。

参考资料：

DeepSeek R1 模型本地化部署 + 个人知识库搭建与使用 · 测试之家

Windows本地部署deepseek-r1大模型并使用web界面远程交互 - cpolar 极点云官网

开源模型DeepSeek R1本地离线部署完全指南 - MAXADA社区知识库

本地部署免费开源DeepSeek-R1大模型 - 点滴记忆

深度探索DeepSeek-R1：AI大模型的本地应用与个人知识库构建_deepseek r1模型本地部署有哪些应用-CSDN博客

DeepSeek+本地知识库：真的太香了_deepseek搭建本地知识库-CSDN博客

【硅基流动DeepSeek-R1部署】_硅基流动官网-CSDN博客

技术路径分析

构建知识库的基本流程可以概括为以下几个步骤：

1. 数据解析：将各种知识库中的数据解析为可处理的格式。

2. 数据分割：将解析后的数据分割成小块。

3. 嵌入转换：将数据块转换为向量表示。

4. 存储检索：将向量存储在向量数据库中，并根据用户输入进行检索。

5. 排序选择：对检索结果进行排序，选择最相关的文档片段。

6. 生成回答：使用大模型生成最终的回答。

7. 输出处理：对生成的回答进行处理和过滤，确保回答的质量。

构建知识库的基本流程图，如下所示：

其中的一些关键名词解析：

1.解析器

• 作用：解析器用于处理各种知识库中的数据，将其转换为可处理的格式。

• 输入：各种知识库（如文本文档、数据库、网页等）。

• 输出：结构化的数据，便于后续处理。

2.分割方式

• 作用：将解析后的数据分割成更小的块（chunks），以便于嵌入模型处理。

• 输入：文本文档或其他形式的知识库数据。

• 输出：分割后的数据块（chunks）。

3.嵌入模型

• 作用：将分割后的数据块转换为向量表示（embeddings），以便于后续的检索和匹配。

• 输入：数据块（chunks）。

• 输出：向量表示（embeddings）。

4.选择向量数据库

• 作用：选择一个合适的向量数据库来存储和检索嵌入向量。

• 输入：嵌入向量（embeddings）。

• 输出：存储在向量数据库中的嵌入向量。

5.embedding

• 作用：将用户输入的文本转换为向量表示（embedding），以便于与知识库中的向量进行匹配。

• 输入：用户输入的文本。

• 输出：用户输入的向量表示（embedding）。

6.索引方法

作用：使用索引方法（如余弦相似性搜索）在向量数据库中快速找到与用户输入最相似的向量。

• 输入：用户输入的向量表示（embedding）。

• 输出：与用户输入最相似的向量及其对应的文档片段。

7.rank排序

• 作用：对检索到的相似向量进行排序，选择最相关的文档片段。

• 输入：检索到的相似向量及其对应的文档片段。

• 输出：排序后的文档片段。

8.输出处理过滤

• 作用：对生成的回答进行处理和过滤，确保回答的质量和准确性。

• 输入：生成的回答。

• 输出：处理后的回答。

操作过程

Cherry Studio下载安装

根据自己的环境下载cherry studio

Cherry Studio - 全能的AI助手

我的系统是Ubuntu18.04，所以我下载了Cherry-Studio-0.9.19-x86_64.AppImage

chmod 777 Cherry-Studio-0.9.19-x86_64.AppImage
​
./Cherry-Studio-0.9.19-x86_64.AppImage

修改权限之后，就可以直接打开使用了

硅基流动API调用

登陆硅基流动官网：硅基流动统一登录

注册需要邀请码：TCSPGTEM

直接点击“API密钥”，新建密钥

点击复制密钥，需要贴到cherry studio中进行检查，检查成功就可以使用API调用deepseek等云端大模型了。

cherry studio -> 设置 -> 模型服务 -> 硅基流动

选择嵌入模型：

这里我使用云端的BAAI/bge-m3作为嵌入模型，对知识库中的数据进行向量表示，以便于后续查询和匹配。

点击“齿轮”，点击“嵌入”，将其设置为嵌入模型（bge-m3默认就是嵌入模型，所以不用设置也可以）。

选择推理模型：

推理模型我选择了deepseek-ai/DeepSeek-R1和deepseek-ai/DeepSeek-V3等，还可以选择其他的模型。

硅基流动官网对这两个模型的介绍：

DeepSeek-R1 是一款强化学习（RL）驱动的推理模型，解决了模型中的重复性和可读性问题。在 RL 之前，DeepSeek-R1 引入了冷启动数据，进一步优化了推理性能。它在数学、代码和推理任务中与 OpenAI-o1 表现相当，并且通过精心设计的训练方法，提升了整体效果。

DeepSeek-V3 是一款拥有 6710 亿参数的混合专家（MoE）语言模型，采用多头潜在注意力（MLA）和 DeepSeekMoE 架构，结合无辅助损失的负载平衡策略，优化推理和训练效率。通过在 14.8 万亿高质量tokens上预训练，并进行监督微调和强化学习，DeepSeek-V3 在性能上超越其他开源模型，接近领先闭源模型。

本地ollama模型调用

本地ollama模型下载安装，请参考：【AI大模型】Ubuntu18.04安装deepseek-r1模型+服务器部署+内网访问

cherry studio -> 设置 -> 模型服务 -> Ollama

这里如果软件和模型是安装在同一台服务器上，则可以直接看到本地部署了哪些模型。

点击管理，如下所示：

点击+，添加模型。点击-，删除模型（这里的添加和删除不会影响到本地部署的模型，只是影响cherry studio的前端显示）。

添加嵌入模型：

这里我使用本地的bge-m3:latest作为嵌入模型，对知识库中的数据进行向量表示，以便于后续查询和匹配。

点击“齿轮”，点击“嵌入”，将其设置为嵌入模型（bge-m3默认就是嵌入模型，所以不用设置也可以）。

添加推理模型：

推理模型我选择了deepseek-r1:1.5b和deepseek-r1:14b，还可以下载其他更大尺寸的模型。

DeepSeek R1作为大模型基座，蒸馏出6个小模型，就是1.5b，7b，8b，14b，32b，70b。

这其中使用了两种模型框架： Llama 和 Qwen

• 1.5b、7b，14b，32b是Qwen框架

• 8b和70b是Llama框架

ollama官网的介绍（deepseek-r1）

本地文档导入

cherry studio -> 知识库 -> 添加

这里就可以建立知识库和选择嵌入模型（上面添加了嵌入模型，包括云端和本地的模型）。

创建成功后，就可以添加文档、目录、网址、网站和笔记，可以说是非常丰富了

这里我只导入了几篇关于CUDA的技术文档，进行简单测试，后续会尝试其他方式。

导入之后，调用嵌入模型等工具，对文档进行解析、分割、embedding等操作，操作成功就会显示“绿色钩号”。

可以点击“搜索数据库”，对当前知识库进行关键词搜索。

创建助手

cherry studio -> 助手 -> 添加助手 -> 默认助手，右键编辑助手

依次添加3个助手，分别是deepseek-r1、deepseek-v3、deepseek-r1:14b，如下所示：

知识库问题查询

“给我一段cuda测试示例代码”

云端大模型deepseek-r1的表现：

• 结果输出较慢，有中间的思考过程，最后给出代码示例和解释，属于比较好的回答，准确性待验证

云端大模型deepseek-v3的表现：

• 结果输出较快，直接给出代码示例和解释，属于比较好的回答，准确性待验证

本地小模型deepseek-r1:14b的表现：

• 结果输出很快，但是并没有给出代码示例，属于不够准确的回答

总结

• 构建知识库的技术路径并不难理解，cherry studio给出了很完整的解决方案和工程实现demo

• 从结果完整度来看，deepseek-r1 > deepseek-v3 > deepseek-r1:14b

• 从耗时情况来看，deepseek-r1:14b < deepseek-v3 < deepseek-r1 (不排除云端资源紧张导致耗时增加)

• 基本上可以确认基于推理模型和嵌入模型以及一系列的知识前处理和后处理工具可以搭建出一个本地知识库。

风险

• 如果全部采用本地部署的大模型需要考虑电脑配置和对应模型的推理能力，小模型（比如，deepseek-r1:14b）不具备很强的理解和推理能力。

• 如果使用云端API，虽然在整个流程中云端大模型只接收了知识库中部分数据构成提示词，知识库仍然保存在本地，但是不可避免地会在多次问答过程中一点点泄露知识库的数据。