使用ollama在本地部署一个deepseek大模型

为什么选择本地化部署

• 响应速度快（建立在GPU卡足够好的情况下）
• 隐私性，不用把自己的数据上传到第三方
• 可以训练自己的私有大模型

需要用到什么

• Ollama，支持各种大模型方便的进行本地化部署
• ChatBox AI，一个UI客户端，可以让我们方便美观的使用大模型
• Windows10及以上版本的操作系统

作者使用的什么环境

• Windows10操作系统
• CPU：AMD Ryzen 5 5600
• 内存：32GB
• 硬盘：50GB
• GPU：AMD Radeon RX Vega56 8GB

如何根据自己的电脑或服务器配置选择自己能部署的大模型

https://apxml.com/posts/gpu-requirements-deepseek-r1

注：本文以部署1.5b（15亿参数）为例，参数越多的模型越强大，1.5b相当于一个小学生，有条件的尽量部署更高的模型使用

一、Ollama

1、下载Ollama

访问Ollama官网，https://ollama.com/，下载对应操作系统下的安装包

2、安装Ollama

Ollama的安装没有什么特殊配置，直接Install即可，需要注意的是，Ollama默认安装在C盘，包括后面的大模型也是，如果需要移动到其他磁盘位置，可以自行移动并且需要修改对应的环境变量即可。

安装完成后我们可以在右下角任务栏里看到已经运行起来的ollama

也可以通过cmd窗口查询ollama版本确定是否安装成功

ollama -v

二、DeepSeek R1

1、下载DeepSeek R1

继续来到Ollama官网的Models页面，https://ollama.com/search，查询下载DeepSeek R1大模型

我选择的是一个最小的模型，1.5b，数字越大代表参数越多，所需资源也越多，1.5b=15亿参数，下拉调整到1.5b模型，点击后面的复制按钮复制下载运行命令

2、安装DeepSeek R1

粘贴我们刚才复制的命令到cmd窗口中并回车运行，开始下载安装

ollama run deepseek-r1:1.5b

下载完成我们看到success的提示，就可以使用大模型了

一些可能会使用到的ollama命令

• 查看已经安装的大模型

ollama list

• 删除安装的大模型

ollama rm name

三、ChatBox AI

虽然到上一步大模型已经可以使用了，但是在cmd窗口中使用总是感觉很别扭，包括复制粘贴也不是那么顺手，那么我们可以安装一个ChatBox AI来连接我们部署的大模型使用

1、下载ChatBox AI

https://chatboxai.app/zh

2、安装ChatBox AI

安装过程没有什么特殊配置，一路下一步即可

3、连接大模型

进入ChatBox AI设置页面，选择模型提供方为OLLAMA API，API域名无需修改，模型选择我们安装好的1.5b，保存即可

到这里，我们就可以愉快的使用大模型了