【DeepSeek】本地快速搭建DeepSeek
博主未授权任何人或组织机构转载博主任何原创文章,感谢各位对原创的支持!
博主链接
博客内容主要围绕:
5G/6G协议讲解
高级C语言讲解
Rust语言讲解
文章目录
- 本地快速搭建DeepSeek
- 一、安装及配置ollama
- 二、DeepSeek模型选择
- 三、本地运行DeepSeek
- 四、安装chatbox实现界面化问答
本地快速搭建DeepSeek
首先,我们安装ollama程序,里面已经集成了适用于本地推理的deepseek-r1模型,之后我们根据本地显卡的显存大小选择一个合适的模型进行本地部署,最后我们使用chatbox搭建一个界面化的问答窗口。
一、安装及配置ollama
首先下载 ollama,下载完成后双击 .exe 可执行文件安装即可,安装完成后配置模型下载地址(默认模型会下载到C盘用户目录的 .ollama 目录里):
-
首先进入高级系统设置
-
点击环境变量
-
新建系统环境变量
-
设置 OLLAMA_MODELS环境变量
-
安装完成后一路点击确定即可,然后我们在cmd窗口中执行 set 命令查看配置结果:
-
最后进入cmd命令窗口执行
ollama -v
如果显示出版本号,表示正确安装
二、DeepSeek模型选择
我们这里只介绍本地能够部署的 DeepSeek-R1-Distill 模型,
模型 | 需要的显存 |
---|---|
DeepSeek-R1-Distill-Qwen-1.5B | 3~4G |
DeepSeek-R1-Distill-Qwen-7B | 14~16G |
DeepSeek-R1-Distill-Llama-8B | 16~18G |
DeepSeek-R1-Distill-Qwen-14B | 28~32G |
DeepSeek-R1-Distill-Qwen-32B | 64~72G |
DeepSeek-R1-Distill-Llama-70B | 140~160G |
DeepSeek-R1-Distill 模型基于开源模型进行微调,使用DeepSeek-R1生成的样本,稍微改变了它们的配置和标记器。而DeepSeek-R1- zero和DeepSeek-R1是基于DeepSeek-V3-Base 训练的。
我们cmd命令窗口中执行 dxdiag 命令查看显存大小
三、本地运行DeepSeek
通过上一步操作可以确定适用于我们的模型了(如果是集成显卡,请使用1.5B的模型),后面我们进入 ollama 网站,选择适用于我们的模型进行下载和部署:
复制命令后在cmd中执行即可,如果本地没有这个模型,会先下载,执行完成后就可以开始问答了
四、安装chatbox实现界面化问答
通过命令行窗口的方式进行问答有些粗糙,我们下载 ChatBox 进行可视化的问答。下载安装后我们来配置参数,以使用本地的模型进行问答: