当前位置: 首页 > article >正文

Deepseek本地部署(ollama+open-webui)

ollama

首先是安装ollama,这个非常简单

https://ollama.com/

下载安装即可

open-webui

这个是为了提供一个ui,毕竟我们也不想在cmd和模型交互,很不方便。

第一,需要安装python3.11,必须是3.11(其他版本你都安装不上)

然后我创建一个虚拟环境,来安装open-webui

网络问题

由于众所周知的原因,我们需要代理或者换源来解决网络的问题。

open-webui会用到huggingface和openai

针对huggingface我采用国内源

针对openai我采用代理

(也许都走的是代理,我设置huggingface国内源多此一举?)

然后我写了一个run.bat来简化工作量

REM 设置 Hugging Face 相关环境变量
set HF_ENDPOINT=https://hf-mirror.com
set HF_HUB_CACHE=F:\Model\cache\huggingface\hub
set HF_ASSETS_CACHE=F:\Model\cache\huggingface\assets
set HF_TOKEN_PATH=F:\Model\cache\huggingface\token
set HF_STORED_TOKENS_PATH=F:\Model\cache\huggingface\stored_tokens

REM 设置代理
set http_proxy=http://127.0.0.1:4343
set https_proxy=http://127.0.0.1:4343
set no_proxy=localhost,127.0.0.1,.local

REM 启动 OpenWebUI
open-webui serve

启动

1.启动ollama,自动运行在11434端口上

2.启动open-webui虚拟环境(cmd)

3.在cmd执行bat

call run.bat

4.open-webui启动成功,访问:

localhost:8080

然后就可以使用本地的大语言模型了


http://www.kler.cn/a/526602.html

相关文章:

  • 线段树 算法
  • 12.udp
  • 单片机基础模块学习——超声波传感器
  • 房屋租赁系统在数字化时代中如何重塑租赁服务与提升市场竞争力
  • Golang笔记——常用库context和runtime
  • 正则表达式入门
  • Spring Boot深度开发实践:从高效开发到生产级部署
  • openRv1126 AI算法部署实战之——YOLO实时目标识别实战
  • 国产碳化硅(SiC)MOSFET模块与同功率应用的进口IGBT模块价格持平
  • 模型I/O
  • Vue3笔记——(二)
  • 本地Apache Hive的Linux服务器集群复制数据到SQL Server数据库的分步流程
  • 36【Unicode(UTF-16)】
  • 如何解除TikTok地区限制:实用方法解析
  • 【PyTorch】6.张量运算函数:一键开启!PyTorch 张量函数的宝藏工厂
  • 【思维导图】java
  • unity免费资源2025-1-26
  • solidity基础 -- 可视范围
  • Blazor-@inject
  • [前端开发]记录国内快速cdn库,用于在线引入JavaScript第三方库
  • ubuntu20.04.6下运行VLC-Qt例子simple-player
  • ChatGPT-4o和ChatGPT-4o mini的差异点
  • Vue.js组件开发深度指南:从零到可复用的艺术
  • Linux内核中container_of宏深度刨析
  • 算法题(52):翻转二叉树
  • @Inject @Qualifier @Named