Windows 本地部署大模型 OpenWebUI+Ollama
安装Ollama
Ollama官方网址:https://ollama.com
下载运行大模型
- 在Ollama官网中查看需要下载的大模型
https://ollama.com/library
- 复制图片中的链接
打开cmd,运行此命令(此过程会时间会很久)
下载Miniconda
- Miniconda作用是创建环境,防止不同python版本相互影响,推荐默认安装
https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe
安装时这里需要勾选上
配置Anaconda 软件仓库
- 清华大学Anaconda仓库
https://mirror.tuna.tsinghua.edu.cn/help/anaconda/
windows打开cmd执行此命令:conda config --set show_channel_urls yes
- 后打开文件资源管理器,打开此文件
C:\Users\系统用户名\.condarc
更改里面的内容修改为如下内容(可在清华大学Anaconda仓库中找到):
创建Conda环境命令
- 打开cmd执行如下命令创建环境
conda create -n py311 python=3.11
安装OpenwebUI
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui
这个过程可能会很久
-
安装完成之后使用
open-webui serve
运行open-webui
运行刚开始运行时可能会遇见问题(报错,依赖找不到问题):
-
需要下载此模型文件,放在对应文件夹下:
-
再运行open-webui
open-webui serve
-
成功后打开链接:http://localhost:8080
注册后登录
-
进去后可自动识别本地大模型
到在这里本地大模型就部署好啦~
PS:此教程参考b站,视频链接: 点击进入