怎么本地部署deepseek（超级详细教程）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前言

‌DeepSeek的推理逻辑很强，但是呢基本上就能问一次，继续问就会服务器繁忙。好在deepseek是是开源的，所以我们需要搭建本地的deepseek，就完美避免了这个问题。

一、‌DeepSeek是什么？

‌DeepSeek是一家中国人工智能初创公司，全称为杭州深度求索人工智能基础技术研究有限公司，成立于2023年7月17日。它由知名私募巨头‌幻方量化孕育而生，专注于开发先进的‌大语言模型(LLM)和相关技术。DeepSeek在AI领域迅速崭露头角，凭借其独特的技术和创新的理念，在竞争激烈的AI市场中站稳了脚跟。‌

DeepSeek的技术优势‌：

性能卓越‌：DeepSeek的AI模型在各项测试中均表现出色，其性能直逼甚至超越了一些顶尖的AI模型，如‌GPT-4Turbo。而且，DeepSeek的训练成本远低于其他同类模型，这使得其性价比极高。
‌‌深度学习和‌自然语言处理技术‌：DeepSeek通过深度学习和自然语言处理技术，能够理解搜索查询的上下文和细节，提供更加符合语义和上下文的精确结果。这使得它在处理复杂且富有对话性质的查询时，展现了独特的价值。
‌‌数据蒸馏技术‌：DeepSeek使用数据蒸馏技术，得到更为精炼、有用的数据，这有助于提升模型的泛化能力和适应性。
‌DeepSeek的应用场景‌：

DeepSeek作为一款多模态AI工具，融合了文本生成、图像创作等多种功能，致力于为用户提供无缝的创作体验。它可以应用于日常对话、文案创作、专业领域的知识问答等多个场景。用户只需简单描述需求，DeepSeek便能生成多样化且富有创意的内容。此外，由于其强大的自然语言处理能力，DeepSeek还可以帮助用户写代码、整理资料，甚至解决一些复杂的数学问题。

总的来说，DeepSeek凭借其卓越的性能、深度学习和自然语言处理技术以及广泛的应用场景，在AI领域引起了广泛的关注和讨论。

二、Ollama 开源平台

DeepSeek R1是AI模型，不是可以直接执行的软件，所以需要一个运行的平台。
‌Ollama是一个开源的本地大语言模型运行框架，设计用于简化在本地运行大型语言模型的过程，降低使用门槛。‌它通过简单的安装指令，使得用户可以通过一条命令在本地运行开源大型语言模型，例如Llama2。Ollama保留了类似Docker的操作习惯，支持上传和管理大语言模型仓库，包括DeepSeek、Llama 2、Mistral、Qwen等模型。‌
易于使用‌：提供了一个简单的API，即使是没有经验的用户也可以轻松使用。它还提供了类似ChatGPT的聊天界面，用户无需开发即可直接与模型进行交互。
‌轻量级‌：代码简洁明了，运行时占用资源少，能够在本地高效地运行，不需要大量的计算资源。
‌可扩展‌：支持多种模型架构，并可以扩展以支持新的模型。它还支持热加载模型文件，无需重新启动即可切换不同的模型，这使得它非常灵活多变。
‌预构建模型库‌：提供了一个预构建模型库，可以用于各种任务，如文本生成、翻译、问答等，使得在本地运行大型语言模型变得更加容易和方便。
Ollama可以在Windows、MacOS和Linux系统上通过命令行界面运行、创建和共享大型语言模型。其设计理念是简化大语言模型的使用流程，兼顾成本效益和隐私保护。

我给大家准备的： 下载Ollama v0.5.11，需要最新版本就区官方下载。

1.下载Ollama 开源平台（比较慢）

链接: Ollama

2.使用GitHub代理地址下载Ollama 开源平台（需要科学上网）

1.复制Ollama的GitHub下载地址

链接: ollama

2.使用GitHub代理地址下载

打开链接: GitHub Proxy

3.安装ollama

一直点击下一步即可

4.检查安装是否成功

1.win+r 运行cmd 打开命令行窗口

2.输入：ollama，会显示一些ollama的命令 ，说明安装成功 ，如下图

3.查看我们安装了那些相关的大模型
输入：ollama list
比如下图：我安装了deepsek r1模型的不同参数模型： 7b和32b（后面来说他们的区别和怎么下载）

5.配置ollama环境变量

1.改变ollama下载模型存储的位置
设置OLLAMA_MODELS系统环境变量，用来存放下载的模型，不然ollama默认会下载到C盘。
右击我的电脑–>属性–>高级系统设置–>环境变量–>新建

或者直接搜索：环境变量

填写

2.设置OLLAMA_HOST

到这里 我们ollama的下载安装以及环境配置都完成了，接下来就是下载大模型。

三、Ollama下载deepseek 大模型

1.deepseek 模型介绍

主要版本
DeepSeek-V3：
基于LLaMA架构的中文大语言模型。
强化了中文理解与生成能力。
支持大规模预训练和微调，适用于多种中文任务。
DeepSeek-R1：
在V3的基础上进行了优化，提升了效率和适应性。
适合快速部署和实际应用中的中文AI服务。

2.模型底层原理

1.怎么选择模型

deepseek提供了不同参数数量的模型，我们应下载哪一个，区别在哪里？
模型参数数量是指模型的神经元数量，相当于我们的“大脑容量”，参数越多、模型越强，但对显存的需求也越高。下面我们来分析怎么选择模型：
模型大小 如下：
b=billion=10亿
1b=10亿参数
1参数（标准精度FP32）=4字节
模型大小=参数数量每个参数的字节
10亿4字节=40亿字节
10亿字节=1GB
我们可以得出：1b（没有量化情况下）=4GB
当然这些参数还会经过 浮点数（FP）模型精度浮点压缩和 量化（Q）对大模型权重和激活值进行压缩

运行需要的显卡内存和模型大小之间的关系 如下：
额外空间存储=大约1.2（需要额外空间存储中间结果等，大约模型大小的20%-50%）
A=量化后的大小=模型大小/8（4字节/参数 量化为：0.5字节/参数，8倍）
B=量化过程中产生额外数据=（A10%）
显存需求=(模型大小)/8(量化Q(4字节变为0.5字节/参数))+（(模型大小1.2)/8(量化Q(4字节变为0.5字节/参数))*10%）(量化过程中产生额外数据)*1.2
显存需求=（A+B）1.2
举列：
14b模型需要多大显存
1b（没有量化情况下）=4GB
144=56BG

A=56/8
B=7+710%
显存需求=7.7GB1.2=9.24GB
显存需求：大约9.24GB
不过这些数据不是绝对的，比如我的电脑显存是8GB，能使用14b大模型吗，答案是肯定的，可以。差别就是可能会计算慢一点。最终效果大家可以去试试就知道了。

2.查看电脑的显存大小

使用DirectX诊断工具‌：
按下Win + R键，打开运行窗口，输入dxdiag并按下回车键。
在DirectX诊断工具窗口中，切换到“显示”选项卡，可以看到显卡型号和显存大小等信息。

3.Ollama下载deepseek模型

3.1 打开链接: Ollama 库

3.2 打开命令行窗口

win+r 运行cmd 打开命令行窗口，直接运行deepseek ，没有就会下载，时间会有点长，如下图：

下载完成 再次Run 如下图：

到这里，deepseek本地部署已经完成，你已经可deepseek交流了。但是命令行窗口不仅复制麻烦，而且不美观，所以我们需要部署到一个交互平台上，比如：Chatbox是一个功能强大且易于使用的AI助手工具，它提供了与AI进行交互的便捷平台。或者docker等

四、在chatbox配置本地模型

1.打开链接: Chatbox
启动网页版，当然你也可以下载软件安装

2.打开设置，选择模型提供方Ollam API，然后模型就选你下载的 比如7b、14b等

3.完成

总结

好记性不如烂笔头！