本地化部署DeepSeek-R1
本文环境搭建均基于免费工具,感谢开源。
一、下载工具并安装
1. Ollama:最新版本 0.5.7
官网在这里
https://ollama.com/download
但是下载太慢,得换个思路
https://sourceforge.net/projects/ollama.mirror/
2.Chatbox
https://chatboxai.app/zh
二、安装配置Ollama
安装一路next,默认是装到C盘
(1)如果C盘空间吃紧,需要新建环境变量OLLAMA_MODELS
windows下更改模型默认下载路径:
默认路径在C:Users<username>.ollama/models
模型一般占用都比较大,换到其他盘去
高级系统设置-环境变量-新建OLLAMA_MODELS,重启Ollama生效。
注:已经下载的模型文件直接搬到新的路径下就可以使用,不需要再下载。
文件在models/blobs中
(2)在Ollama主页下载DeepSeek模型
deepseek-r1
根据自己的硬件设备选择不同的版本下载
我的是t490s的本子,没有独显,试了下14b勉强可以跑。
ollama pull deepseek-r1:14b
(3)配置环境变量 OLLAMA_HOST、OLLAMA_ORIGINS
默认情况下,Ollama服务仅在本地运行,不对外提供服务。
如果要提供对外服务,需要新增两个环境变量
保存设置,重启Ollama服务。
小结下Ollama环境变量的作用:
三、安装配置Chatbox
1. 一路next,安装完成。
2.配置:
(1)选择“模型”-“Ollama API”-“deepseek-r1:14b”
选择“显示”-“语言”-“简体中文”。
注: 如果“模型”下拉菜单为空,重启Ollama服务,重新打开Chatbox再试一下。
四、本地运行
本地化运行因为硬件比较拉跨,速度有点慢,其他体验完美。
DeepSeek确实对中文的理解更深更细腻,推荐大家使用。