使用Ollama和Open WebUI快速玩转大模型:简单快捷的尝试各种llm大模型,比如DeepSeek r1
Ollama本身就是非常优秀的大模型管理和推理组件,再使用Open WebUI更加如虎添翼!
Ollama快速使用指南
安装Ollama
Windows下安装
下载Windows版Ollama软件:Release v0.5.7 · ollama/ollama · GitHub
下载ollama-windows-amd64.zip这个文件即可。可以说Windows拥抱开源真好,Windows下安装软件简单方便,开源软件直接到Github方便寻找,这样真是天作之合!
下载后,解压ollama-windows-amd64.zip文件到E:\ai\ollama 目录,
然后到该目录下执行ollama.exe文件即可运行Ollama
Ubuntu下安装
在Ubuntu下安装Ollama非常简单,直接snap安装即可:
sudo snap install ollama
运行Ollama
首先运行ollama服务
运行Ollama服务
ollama serve
如果使用open-webui,则不需要再执行下面的“运行单个模型” 命令。
运行单个的模型
比如运行deepseek-r1模型
在命令行运行1.5b模型:
ollama run deepseek-r1:1.5b
ollama会自动下载1.5b,并进行推理,也就是进入大模型的交互界面。
运行7b模型
ollama run deepseek-r1:7b
运行8b模型
ollama run deepseek-r1:8b
必须先运行ollama serve,然后再run 单独的模型。如果是在Windows下,可以省略ollama serve这句。
open-webui快速使用指南
使用pip进行安装:
pip install open-webui
依赖软件较多,需要安装一段时间。
启动服务
使用如下命令启动open-webui服务:
open-webui serve
启动后运行的东西不少,需要一些时间:
配置
使用浏览器登录服务:
http://127.0.0.1:8080/
第一次使用需要注册用户名、邮件以及密码,这都是存在本地的,可以放心填写。
注册完毕后,它自动认出了本地安装的deepseek r1大模型,真是太智能了!
这样就可以开始我们的大模型之旅啦!
添加模型
点击当前模型后面的下三角,会出来一个搜索图标,再后面键入需要添加的模型,比如deepseek-r1:7b,然后点击“从Ollama.com拉取deepseek-r1:7b”,即可自动从Ollama拉取模型。
如果只知道模型的一部分名字,则可以到Ollama官网搜索具体的名字:Ollama
当然,如果不启动open-webui,可以直接使用命令来下载模型
ollama run deepseek-r1:7b