当前位置: 首页 > article >正文

Win10环境借助DockerDesktop部署Open web UI集成DeepSeek

Win10环境借助DockerDesktop部署Open web UI集成DeepSeek

前言

之前已经部署了基于Ollama的DeepSeek:

https://lizhiyong.blog.csdn.net/article/details/145505686

并集成了ChatBox:

https://lizhiyong.blog.csdn.net/article/details/145524481

还折腾了DockerDesktop环境:

https://lizhiyong.blog.csdn.net/article/details/145580868

今天试一试部署Open WebUI,它可以开关DeepSeek的上下文联想功能,还可以集成联网搜索等功能。

由于目前的Open web UI只支持python3.11,Docker容器方式可以很好地避免环境问题。

部署

参考官方文档:

https://docs.openwebui.com/

在这里插入图片描述

灰常简洁地给出2个Docker命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main	#正常命令
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda	#支持英伟达显卡的命令

由于笔者之前已经部署了Ollama【本地部署,非容器】,且丽台A4000显卡之前搞定了驱动和CUDA:

https://lizhiyong.blog.csdn.net/article/details/127827522

故笔者参考第二个命令:

docker run -d -p 3008:8080 --gpus all --add-host=host.docker.internal:host-gateway -v E:\dockerData\volume\openWebUI1:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

容器镜像加速

科学上网后容器拉取还是很慢,故需要配置容器镜像加速:

在这里插入图片描述

找一个容器镜像加速地址,笔者使用的是阿里云。可以去官网自己获取一个:

https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

容器运行

在这里插入图片描述

由于容器运行起来后,还需要加载一些资源文件,所以暂时还不能访问网页。

待加载完成后:

http://localhost:3008/auth

可以查看界面:

在这里插入图片描述

设置管理员u/p后即可使用。

在这里插入图片描述

由于之前已经配置好了各种环境变量,且开放了Docker容器和本机直接的网络端口,此时已经自动识别到部署过的2个小模型。

启用联网搜索

在这里插入图片描述

随便提问一下,open webui这个界面的好处就体现出来了:

可以同时对多个模型提问,并对生成的结果做比对。

可以开启联网搜索:

在这里插入图片描述

在这里插入图片描述

奶思,现在它可以通过DuckDuckGo联网搜索百度百科和知乎。。。1.5b还是一如既往的愚蠢。。。14b智力要正常很多。

此时GPU的显存已经接近打满了。。。玩AI还是得大显存显卡才行。

思,现在它可以通过DuckDuckGo联网搜索百度百科和知乎。。。1.5b还是一如既往的愚蠢。。。14b智力要正常很多。

此时GPU的显存已经接近打满了。。。玩AI还是得大显存显卡才行。

显然和Chat Box相比,open webui方式集成虽然麻烦些,但可玩性变好了。。。

转载请注明出处:https://lizhiyong.blog.csdn.net/article/details/145582453

在这里插入图片描述


http://www.kler.cn/a/544413.html

相关文章:

  • Vivado生成edif网表及其使用
  • windows + visual studio 2019 使用cmake 编译构建静、动态库并调用详解
  • 图像处理篇---基本OpenMV图像处理
  • 单例模式和单例Bean
  • ZooKeeper 技术全解:概念、功能、文件系统与主从同步
  • 【LeetCode Hot100 双指针】移动零、盛最多水的容器、三数之和、接雨水
  • 9、Python面试题解析:函数的用法和高级
  • STM32 HAL库 CANbus通讯(C语言)
  • 基于SpringBoot+Vue的求职招聘管理系统
  • 自然语言处理NLP入门 -- 第一节基础概念
  • 【嵌入式Linux应用开发基础】open函数与close函数
  • oracle dbms_sqltune 使用
  • Visual Studio Code 的 AI 编程助手
  • 概率论、组合数学知识点汇总
  • 加油口,电梯门的对称性对 TCP/IP 传输协议的启示
  • 通义灵码 2.0 全新升级,阿里云正式推出繁星计划
  • 云原生小记:负载均衡
  • 字节跳动后端一面
  • es凌晨自己把索引删除了,包括es自己的索引
  • 【STM32】输入捕获实现超声波测距
  • 大模型基本原理(四)——如何武装ChatGPT
  • 四、自然语言处理_08Transformer翻译任务案例
  • 【已解决】lxml.etree.ParserError: Document is empty
  • ChatGPT macOS 桌面应用让你的编程体验更上一层楼
  • 全面解析鸿蒙(HarmonyOS)开发:从入门到实战,构建万物互联新时代
  • Cables Finance 构建集成LST与外汇RWA永续合约的综合性DEX