LLM - Dify（1.0.1）搭建本地私有RAG知识库完整指南

工具链选型

• Dify：灵活的开源AI应用开发框架，支持RAG工作流定制，满足复杂业务需求。
• Ollama：轻量级本地大模型运行工具，无缝集成开源模型（如DeepSeek R1）。
• Docker：容器化部署保障环境一致性，简化依赖管理。
• 模型选择：
  • 生成模型：DeepSeek R1（7B参数，中英文混合优化）
  • Embedding模型：Nomic-Embed-Text（高效文本向量化）

Docker

访问 ： https://docs.docker.com/

安装后如下

Ollama 、 Deepseek R1 、Embed模型

LLM - 本地 Ollama 部署DeepSeek

Embed模型 如下：

DIFY （Do It For You）

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。

由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上.

开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。

比 LangChain 更易用。

CPU >= 2 Core
RAM >= 4 GiB

官网

https://dify.ai/zh

架构

下载DIFY源码

访问 https://github.com/langgenius/dify

进入命令行窗口执行如下命令：

 git clone  https://github.com/langgenius/dify.git

配置环境变量

# 进入克隆后的目录
cd dify
cd docker
# 在项目根目录下，复制.env.example文件并重命名为.env 
# 编辑.env文件，根据你的需求配置相关环境变量。对于本地部署，大部分默认配置即可满足需求
cp .env.example .env

启动 Dify

使用 Docker Compose 启动 Dify 服务

#使用 Docker Compose 启动 Dify 服务
docker compose up -d

查看 docker desktop

• 这一步会下载并启动 Dify 所需的所有 Docker 容器，包括 Web 服务、数据库等。
• 启动完成后，可以通过浏览器访问http://localhost/install进入 Dify 的管理界面。

设置管理员后，登录如下 ：

官方DOC

https://docs.dify.ai/zh-hans

使用DIFY 搭建私有 RAG 知识库

数据准备

配置 Dify

• 在 Dify 的界面中，点击用户名

• 进入设置页面，选择模型供应商，选择ollama

• 添加LLM模型

• 添加Embed模型

最终如下

这样我们的模型就配置完了。

配置本地知识库

• 在 Dify 的知识库页面，创建知识库

• 添加私有数据

等待片刻

验证

• 创建应用

• 编排，关联知识库

• 测试

切个模型再试下

问个知识库里不存在的内容

需要根据测试结果，发现回答不准确或性能不佳，可以对数据进行进一步的清洗和整理，优化索引结构，调整 RAG 模型的参数等。不断迭代优化，直到知识库能够满足你的业务需求。

发布

小结

核心价值与场景

• 数据隐私：全程本地化部署，规避敏感数据外泄风险。
• 定制灵活：支持垂直领域知识库快速迭代（如教育、法律、医疗）。
• 成本可控：基于开源模型与框架，降低企业级AI应用门槛。
• 开箱即用：Dify提供可视化界面，无需编码即可完成知识库发布与测试。

通过 ​Dify+Ollama 的技术组合，开发者可快速搭建高可用的私有RAG系统。相比零代码工具（如AnythingLLM），Dify在灵活性与扩展性上更具优势，尤其适合需要深度定制检索策略和交互逻辑的场景。未来可结合业务需求，持续优化模型微调与多源数据融合能力，打造更智能的领域知识助手