当前位置: 首页 > article >正文

Windows搭建Docker+Ollama+Open-WebUI部署DeepSeek本地模型

Windows搭建Docker+Ollama+Open-WebUI部署DeepSeek本地模型

本文将详细介绍如何在 Windows 系统 上安装和使用 Docker+Ollama + Open-WebUI,这三个强大的工具将帮助您轻松管理和运行大型语言模型DeepSeek。Ollama 简化了模型的下载与部署,而 Open-WebUI 则提供了一个直观的图形用户界面,使用户能够更方便地与模型进行交互。

步骤 1:安装 Docker

(1)下载 Docker Desktop

  1. 访问 Docker 官方网站。
  2. 点击“Download for Windows”按钮,下载 Docker Desktop 安装程序。
    在这里插入图片描述

(2)安装 Docker Desktop

  1. 双击下载的安装程序,按照提示完成安装。
  2. 安装完成后,启动 Docker Desktop。

(3)启用 WSL 2 后端(可选)

如果你使用的是 Windows 10 或更高版本,建议启用 WSL 2 后端以提高性能。

  1. 打开 Docker Desktop,进入“Settings” -> “General”,勾选“Use the WSL 2 based engine”。
  2. 进入“Resources” -> “WSL Integration”,启用你的 WSL 发行版。

(4)验证 Docker 安装

打开命令提示符或 PowerShell,输入以下命令:

docker --version

步骤 2:安装 Ollama

(1)下载 Ollama

  1. 访问 Ollama 官方网站 或 GitHub 仓库,下载适用于 Windows 的 Ollama 安装程序。
    在这里插入图片描述

  2. 按照提示完成安装。

(2)验证 Ollama 安装

打开命令提示符或 PowerShell,输入以下命令:

ollama --version

如果显示 Ollama 版本信息,说明安装成功。

(3)下载 DeepSeek-V3 模型

在CMD命令提示符使用以下命令下载 DeepSeek-V3 模型:

ollama run deepseek-v3

等待模型下载完成。

在这里插入图片描述

(4)验证模型是否可用

使用以下命令测试模型:

ollama run deepseek-v3 "你好,DeepSeek-V3!"

如果模型返回响应,说明模型加载成功。

步骤 3:安装 Open WebUI

(1)拉取 Open WebUI Docker 镜像

Open WebUI 是一个用于与大模型交互的 Web 界面。使用以下命令拉取 Open WebUI 镜像:

docker pull ghcr.io/open-webui/open-webui:main

(2)运行 Open WebUI 容器

使用以下命令启动 Open WebUI 容器,并连接到 Ollama:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

解释:

  • -d:后台运行容器。
  • -p 3000:8080:将容器的 8080 端口映射到主机的 3000 端口。
  • --add-host=host.docker.internal:host-gateway:添加主机映射,使容器能够访问主机服务。
  • -v open-webui:/app/backend/data:将 Open WebUI 的数据目录挂载到 Docker 卷 open-webui
  • --name open-webui:为容器命名。
  • --restart always:设置容器始终自动重启。
  • ghcr.io/open-webui/open-webui:main:使用的 Docker 镜像。

(3)验证 Open WebUI 是否运行

打开浏览器,访问 http://localhost:3000。 如果看到 Open WebUI 的登录界面,说明运行成功。

http://localhost:3000

在这里插入图片描述

步骤 4:通过 Open WebUI 使用 DeepSeek-V3 大模型

(1)登录 Open WebUI

首次访问 Open WebUI 时,需要创建一个账户。

  1. 输入用户名和密码,完成注册并登录。

(2)连接到 Ollama

在 Open WebUI 界面中,进入设置页面。

  1. 在“Ollama API URL”字段中输入 http://host.docker.internal:11434,然后保存设置。

(3)选择 DeepSeek-V3 模型

在 Open WebUI 界面中,找到模型选择菜单。

  1. 选择 DeepSeek-V3 作为当前使用的模型。

(4)与模型交互

在输入框中输入问题或指令,例如:

你好,DeepSeek-V3!你能帮我写一段代码吗?

点击“发送”按钮,等待模型生成回复。

步骤 5:停止和删除容器

(1)停止容器

如果需要停止容器,可以使用以下命令:

docker stop open-webui

(2)删除容器

如果需要删除容器,可以使用以下命令:

docker rm open-webui

http://www.kler.cn/a/547163.html

相关文章:

  • GPT和BERT
  • /etc/profile vs ~/.bashrc:如何正确使用?
  • VoIP之Jitter Buffer(抖动缓冲器)
  • Oracle RHEL 7.8 安装
  • 【BUG】conda虚拟环境下,pip install安装直接到全局python目录中
  • 总结:使用JDK原生HttpsURLConnection,封装HttpsUtil工具类,加载自定义证书验证,忽略ssl证书验证
  • c# textbox 设置不获取光标
  • 深度学习、传统机器学习和卷积神经网络中的Transformer、scikit-learn和TextCN
  • LeetCode 热门100题-无重复字符的最长子串
  • Windows安装 WSL2、Ubuntu 、docker(详细步骤 , 弃用 docker desktop )
  • Jenkins 配置 Git Repository 五
  • Python爬虫实战:股票分时数据抓取与存储 (1)
  • 51-ArrayList
  • 【第2章:神经网络基础与实现——2.2反向传播算法详解与实现步骤】
  • PostgreSQL技术内幕25:时序数据库插件TimescaleDB
  • 借助 Docker 环境变量,实现1分钟上线在线客服系统
  • 【设计模式】【行为型模式】访问者模式(Visitor)
  • MATLAB中isfield函数用法
  • 使用Redis生成全局唯一ID/分布式唯一ID
  • 网络变压器的主要电性参数与测试方法(1)