纯CPU跑DeepSeek-R1 671b大模型
0. 研究背景
DeepSeek-R1大模型这段时间非常火爆。网上的教程很多,但是他们大部分都是在GPU中推理的。那么这期我计划使用CPU来推理。因为英伟达显卡太贵了,对于个人还是公司来说,成本都太高了。本期研究目的纯属个人爱好,如果大家觉得这篇文章对你有用,可以转发给你的好朋友,不妨点点赞,你的点赞虽然是免费的,但是却是我更新的动力。
1. 服务器准备
由于我只有一台笔记本电脑,并且配置有限,因此打算在网上租一台高性能的裸机服务器,什么是裸机物理服务器呢,也就是整台机子都是属于你自己,这点与云服务器还是有差别的。这里我选择了国外的服务器,为啥选择国外服务器,因为下载大模型文件更快,下载速度可以达到1.5GB/s甚至更快。这里使用的服务器是vultr的,可以点击这里,跳转到官方网站。
然后选择地理位置,这里我选择了US中的洛杉矶,服务器配置如下表格所示。
CPU | 内存 | 硬盘 | 系统 |
---|---|---|---|
AMD 9254 24核心48线程 | 384GB | 480GB | Ubuntu22.04 |
我这里计划部署671b参数量的deepseek-r1大模型。更具体的配置以及价格可以看下方的截图。
注意:这里有很多国人有误区,以为国外的网站都访问被限制,目前我写这篇文章为止,这个vultr是可以在国内直接访问的,并且支持国内的支付系统,支持支付宝,完全不用担心没有海外信用卡导致无法支付的问题。
2. 部署与访问
经过上面的步骤,我们已经租好了服务器,或者如果你自己有高配置的服务器或者个人PC,那么也可以不用租服务器。
2.1 安装ollama
下面开始正式部署我们的大模型deepseek-r1了,我们这里使用ollama的方式部署,这也是最简单的部署方式。首先我们需要安装ollama,这里我使用的服务器Linux系统,可以使用下面的命令来安装ollama。
curl -fsSL https://ollama.com/install.sh | sh
如果你使用的是其它操作系统,可以到ollama的官方网站中,下载安装ollama。你可以点击这里直接跳转到ollama官方网站中。
2.2 部署deepseek-r1大模型
这里部署最大参数量的模型,也就是671b的大模型。
这里使用下面命令即可下载并启动模型。
ollama run deepseek-r1:671b
然后就可以实现在命令行中与大模型进行对话了。我们这里还没完结,如想要在本地通过GUI界面方式与大模型进行对话,那么我们需要在我们的本地电脑上安装chatbox,然后通过配置方式对接到我们在服务器中部署的大模型deepseek-r1 671b的大模型。
2.3 本地访问大模型
经过上面这些步骤,我们可以在服务器上通过命令行的方式来对话了,但是这样效果看起来不太好,我们还需一个GUI界面来渲染大模型返回的markdown格式的数据。那么下面就使用chatbox方式作为deepseek-r1 671b大模型的GUI界面吧。
首先下载这个chatbox,可以点击这里,访问chatbox官方网站,如果你不想下载,你甚至可以直接使用网页版本。如果你想要在手机上使用,你也可以下载对应的手机版本。
安装过程和其它软件的安装过程一样简单,也就是双击根据提示就能安装上,这里就不再赘述了。
2.4 配置chatbox
安装好后,我们就可以配置了。
如果你是第一次使用chatbox,那么会在启动时自动弹窗让你去配置使用什么大模型。如果你以前使用过chatbox那么,可以点击左下方的"设置"按钮,然后在弹窗中选择"Ollama API",如下图所示。
然后是填上你的公网ip地址,如果是在局域网内部署的,那么填上你的局域网ip地址,并且选择你服务器端部署的671b参数量的deepseek-r1大模型。如下图所示。
到此,我们部署的整个过程就结束了。
如果你在部署中遇到什么不能解决的问题,欢迎在评论区讨论。
如果你是小白,不懂Linux命令,可以点击这里访问我的博客。