当前位置: 首页 > article >正文

纯CPU跑DeepSeek-R1 671b大模型

0. 研究背景

DeepSeek-R1大模型这段时间非常火爆。网上的教程很多,但是他们大部分都是在GPU中推理的。那么这期我计划使用CPU来推理。因为英伟达显卡太贵了,对于个人还是公司来说,成本都太高了。本期研究目的纯属个人爱好,如果大家觉得这篇文章对你有用,可以转发给你的好朋友,不妨点点赞,你的点赞虽然是免费的,但是却是我更新的动力。

1. 服务器准备

由于我只有一台笔记本电脑,并且配置有限,因此打算在网上租一台高性能的裸机服务器,什么是裸机物理服务器呢,也就是整台机子都是属于你自己,这点与云服务器还是有差别的。这里我选择了国外的服务器,为啥选择国外服务器,因为下载大模型文件更快,下载速度可以达到1.5GB/s甚至更快。这里使用的服务器是vultr的,可以点击这里,跳转到官方网站。

image-20250223153905654

然后选择地理位置,这里我选择了US中的洛杉矶,服务器配置如下表格所示。

CPU内存硬盘系统
AMD 9254 24核心48线程384GB480GBUbuntu22.04

我这里计划部署671b参数量的deepseek-r1大模型。更具体的配置以及价格可以看下方的截图。

image-20250223154710793

注意:这里有很多国人有误区,以为国外的网站都访问被限制,目前我写这篇文章为止,这个vultr是可以在国内直接访问的,并且支持国内的支付系统,支持支付宝,完全不用担心没有海外信用卡导致无法支付的问题。

2. 部署与访问

经过上面的步骤,我们已经租好了服务器,或者如果你自己有高配置的服务器或者个人PC,那么也可以不用租服务器。

2.1 安装ollama

下面开始正式部署我们的大模型deepseek-r1了,我们这里使用ollama的方式部署,这也是最简单的部署方式。首先我们需要安装ollama,这里我使用的服务器Linux系统,可以使用下面的命令来安装ollama。

curl -fsSL https://ollama.com/install.sh | sh

如果你使用的是其它操作系统,可以到ollama的官方网站中,下载安装ollama。你可以点击这里直接跳转到ollama官方网站中。

2.2 部署deepseek-r1大模型

这里部署最大参数量的模型,也就是671b的大模型。

这里使用下面命令即可下载并启动模型。

ollama run deepseek-r1:671b

然后就可以实现在命令行中与大模型进行对话了。我们这里还没完结,如想要在本地通过GUI界面方式与大模型进行对话,那么我们需要在我们的本地电脑上安装chatbox,然后通过配置方式对接到我们在服务器中部署的大模型deepseek-r1 671b的大模型。

2.3 本地访问大模型

经过上面这些步骤,我们可以在服务器上通过命令行的方式来对话了,但是这样效果看起来不太好,我们还需一个GUI界面来渲染大模型返回的markdown格式的数据。那么下面就使用chatbox方式作为deepseek-r1 671b大模型的GUI界面吧。

首先下载这个chatbox,可以点击这里,访问chatbox官方网站,如果你不想下载,你甚至可以直接使用网页版本。如果你想要在手机上使用,你也可以下载对应的手机版本。

image-20250223160056813

安装过程和其它软件的安装过程一样简单,也就是双击根据提示就能安装上,这里就不再赘述了。

2.4 配置chatbox

安装好后,我们就可以配置了。

如果你是第一次使用chatbox,那么会在启动时自动弹窗让你去配置使用什么大模型。如果你以前使用过chatbox那么,可以点击左下方的"设置"按钮,然后在弹窗中选择"Ollama API",如下图所示。

image-20250223160636686

然后是填上你的公网ip地址,如果是在局域网内部署的,那么填上你的局域网ip地址,并且选择你服务器端部署的671b参数量的deepseek-r1大模型。如下图所示。

image-20250223160943932

到此,我们部署的整个过程就结束了。

如果你在部署中遇到什么不能解决的问题,欢迎在评论区讨论。

如果你是小白,不懂Linux命令,可以点击这里访问我的博客。


http://www.kler.cn/a/558855.html

相关文章:

  • Pytorch深度学习教程_5_编写第一个神经网络
  • windows下安装CUDA-本地微调大模型
  • JUC并发—11.线程池源码分析
  • 通过Hive小文件合并(CombineHiveInputFormat)减少80%的Map任务数
  • w803|联盛德|WM IoT SDK2.X测试|window11|VSCODE|(4):IDE配置
  • 解决Open WebU无法显示基于OpenAI API接口的推理内容的问题
  • 【开源项目】分布式文本多语言翻译存储平台
  • 关于Python的一些基础知识(太阳太阳,持续更新)
  • 【DeepSeek-R1】写了个DeepSeek-R1本地软件,欢迎参与测试
  • 使用ESP-IDF来驱动INMP441全向麦克风
  • Redis 如何实现消息队列?
  • Python|OpenCV-实现人物眨眼检测(21)
  • 《从GPT-4到“东数西算”:AI算力的全球格局与技术趋势》
  • 五、Three.js顶点UV坐标、纹理贴图
  • 算法与数据结构(旋转链表)
  • (四)趣学设计模式 之 原型模式!
  • YOLOv12:以注意力为中心的物体检测
  • Servlet 国际化
  • Python pip 缓存清理:全面方法与操作指南
  • 失眠治愈手册(二):问题优化