生活电子常识-deepseek-r1本地化部署+ui界面搭建
前言
deepseek-r1 14b模型,32b模型部署在本地电脑上也能实现非常好的性能。
因此有兴趣研究了下如何在本地部署。
同时最新流行mauns工作流,他们提供一句话实现网页端任意应用的能力。实际上,你也可以用本地的模型来实现离线的ai工作流功能。
不过这里讲述本地如何首先搭建大模型,一步步来
具体的实现原理,操作步骤如下
原理
1.安装ollama
作用是提供大模型的运行环境,以及提供外部的大模型调用api接口
你没看错,本地部署的大模型也可以提供api接口,这也是后来我们可以使用其他ui界面来访问这个本地大模型的基础
访问https://ollama.com/,下载ollama.exe
安装后,然后在命令框中查看是否可用,可用如图所示
2.选择模型下载
如图所见,可以选择qwn32b模型,deepseekr1模型等等
3.使用命令配置模型,等待下载好即可
命令敲入cmd框中,模型将会自动下载,等待下载好即可。
4.查看可用模型列表,启动模型
可以根据如图片中命令,查看已经安装的模型名称,然后启动即可
5.启动模型,对话
ollama run deepseek-r1:14b
6.设置ui界面对话
去chorme扩展商店中搜索page assist插件,安装
在设置中勾选简体中文,即可展示
同时因为ollama为其安装的模型提供了api接口,这个ui插件,也可以访问那些大模型,进行流畅对话
同时,也可以为模型构建知识库,让其回答的更加贴合知识库语料
同时,局域网内,别人访问你的大模型api也可以访问你本地的大模型进行交流
6.1另外一款ui软件
如图所配置即可,chatbox为模型提供了图片和文档上传功能,更加符合日常使用需求。