当前位置：首页 > article >正文

RagFlow + Docker Desktop + Ollama + DeepSeek-R1本地部署自己的本地AI大模型工具

article 2025/2/12 13:42:21

前期准备

首先，我们需要下载 Ollama 以及配置相关环境。

Ollama 的 GitHub仓库（https://github.com/ollama/ollama）中提供了详细的说明，简单总结如下:

Step1：下载 Ollama

下载（https://ollama.com/download）并双击运行 Ollama 应用程序。

Step2：验证安装

在命令行输入 ollama，如果出现以下信息，说明 Ollama 已经成功安装。

Step3：拉取模型
从命令行，参考 Ollama 模型列表（https://ollama.com/library）和文本嵌入模型列表（https://python.langchain.com/v0.2/docs/integrations/text_embedding/）拉取模型。在该教程中，我们以 deepseek-r1:1.5b 和 nomic-embed-text 为例:

命令行输入 ollama pull deepseek-r1:1.5b，拉取通用的开源大语言模型 deepseek-r1:1.5b；（拉取模型时，可能比较缓慢。如果出现拉取错误，可以重新输入指令拉取）
命令行输入 ollama pull nomic-embed-text 拉取文本嵌入模型（https://ollama.com/search?c=embedding）nomic-embed-text。
当应用运行时，所有模型将自动在 localhost:11434 上启动。

注意，你的模型选择需要考虑你的本地硬件能力，该教程的参考显存大小 CPU Memory > 8GB。

Step4：部署模型

命令行窗口运行以下命令，部署模型。

ollama run deepseek-r1:1.5b

也可以从命令行直接运行部署模型，例如 ollama run deepseek-r1:1.5b。

注意如果只想使用 Ollama 部署 DeepSeek R1 模型则无需进行以下步骤。

# langchain_community
pip install langchain langchain_community

# Chroma
pip install langchain_chroma

# Ollama
pip install langchain_ollama

安装Ollama和deepseek大模型，完成前期准备工作后，让我们开始逐步构建基于 RagFlow + Docker Desktop + Ollama + DeepSeek-R1 的本地 RAG 应用。下面将详细介绍具体实现步骤。

本地 RAG 应用实现

一、下载、安装Docker Desktop

地址：Docker Desktop | Docker Docs

下载完成后双击安装

注意：安装成功后点击确定会重启电脑注意保存自己未保存的文件

重启电脑后

如果安装成功后打开界面显示 Docker Engine stopped 说明缺少依赖可能是缺少wsl 一般会自动弹框提示你安装适用于Linux的window子系统安装一下就行了
如果没有自动弹框执行 wsl --update安装一下

安装成功后再启动docker Desktop，就可以了!

二、安装RAGFlow

在开始安装 RAGFlow 之前，请确保您的系统满足以下基本要求：

CPU 核心数：至少 2 核
内存大小：至少 8 GB

克隆 RAGFlow 存储库：

git clone https://github.com/infiniflow/ragflow.git

如果git 克隆报错就去https://github.com/infiniflow/ragflow.git 下载zip版本

构建 Docker 镜像并启动服务器：

cd ragflow/docker
docker compose up -d

核心映像大小约为 9 GB，加载可能需要一些时间。

检查服务器状态：

docker logs -f ragflow-server

如果系统成功启动，您将看到确认消息。

    ____                 ______ __
   / __ \ ____ _ ____ _ / ____// /____  _      __
  / /_/ // __ `// __ `// /_   / // __ \| | /| / /
 / _, _// /_/ // /_/ // __/  / // /_/ /| |/ |/ /
/_/ |_| \__,_/ \__, //_/    /_/ \____/ |__/|__/
              /____/
 
 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:9380
 * Running on http://172.22.0.5:9380
 INFO:werkzeug:Press CTRL+C to quit

配置选项

①、选择 LLM 工厂：在 service_conf.yaml 文件中的 user_default_llm 部分选择所需的 LLM 工厂。

②、API 密钥设置：使用相应的 API 密钥更新 service_conf.yaml 文件中的 API_KEY 字段。更多信息请参阅 /docs/llm_api_key_setup.md。

③、要更新默认 HTTP 服务端口 (80)，请转到 docker-compose.yml 并将 80:80 更改为 <YOUR_SERVING_PORT>:80 。

所有系统配置的更新需要重新启动系统才能生效：docker-compose up -d

访问 RAGFlow 界面

一旦服务器启动并运行，您可以通过浏览器访问 RAGFlow 界面。在默认配置下，您可以省略默认 HTTP 服务端口 80。只需在浏览器中输入 RAGFlow 服务器的 IP 地址即可。

通过上述步骤，您可以成功设置和运行 RAGFlow。确保遵循所有配置指南，并在启动服务器后检查其状态以确认一切正常。通过选择适当的 LLM 工厂和设置 API 密钥，您可以确保 RAGFlow 与您的业务需求无缝集成。最后，通过简单的浏览器操作，您就可以开始使用 RAGFlow 强大的文档理解和问答功能了。