本地部署deepseek模型步骤
文章目录
- 0.deepseek简介
- 1.安装ollama软件
- 2.配置合适的deepseek模型
- 3.安装chatbox可视化
0.deepseek简介
DeepSeek 是一家专注于人工智能技术研发的公司，致力于打造高性能、低成本的 AI 模型，其目标是让 AI 技术更加普惠，让更多人能够用上强大的 AI 工具1。DeepSeek 由幻方量化孵化，成立于2023年4月，是一家创新型科技公司，专注于开发先进的大语言模型（LLM）和相关技术。DeepSeek 推出的大模型在技术圈与投资界突然“爆火”，成立仅一年多的深度求索（DeepSeek）公司于1月20日推出其新一代大模型R1，性能显示出与OpenAI的最新版本相当的潜力，却在训练成本上实现了大幅度降低。2
DeepSeek-R1 是 DeepSeek 推出的推理大模型，它在数学、代码、自然语言推理等任务上的性能可以比肩 OpenAI 的 o1 模型正式版3。DeepSeek-R1 的成功预示着中国在人工智能模型研发方面取得了从模仿到超越的重要突破。DeepSeek-R1 的预训练费用只有557.6万美元，在2048块英伟达H800 GPU集群上运行55天完成4。DeepSeek 还因其新发布的开源模型 R1 在性能和成本效率上的突破性表现，引发了整个 AI 行业的广泛讨论。5
1.安装ollama软件
1.进入ollama官网,下载适合自己计算机版本的安装包（大约3min），我这里下载的是windows版本。
下载好之后如下图所示：
2.安装ollama软件。点击下载好的.exe文件，然后点击Install，默认安装在C盘（后期可以自己转移位置，详见文章：将ollama迁移到其他盘
3.打开ollama软件，电脑右下角会出现这样的图标：
2.配置合适的deepseek模型
-
在ollama官网中点击Models，点击deepseek-r1，根据自己电脑选择不同版本的模型，复制后面的那句命令。
-
win+R然后输入cmd，调出命令行窗口。
-
输入命令
ollama -v查看ollama的版本，确保ollama软件已经在运行状态，才能进行后面的操作。 -
将刚才复制的命令复制到命令行窗口，点击回车即可。
-
当进度条到100%的时候，会出现一句话：send a message，这样就是已经部署成功14b模型了。
可以直接在这个命令行窗口输入对话使用14b的模型。
这里示范的是部署14b的模型，时间比较久，可能和网速有关系，我这边网速也比较慢，大约得有1个多小时才弄好。（会有进度条提示）
但是后来发现我的电脑太老了，部署14b之后，带不起来。
我的电脑GPU是NVIDIA GeForce MX150：这款显卡性能相对有限，可能无法提供足够的计算能力来快速处理大型模型。对于 DeepSeek R1-14B 这样的大型模型，可能仍然会运行缓慢。
MX150 的显存通常为 2GB，这对于运行 14B 参数的模型来说是远远不够的。大型模型需要更多的显存来存储中间计算结果。
所以后面我改为用7b的模型
3.安装chatbox可视化
在命令行窗口中可以使用，但是不方便，所以使用chatbox软件进行可视化操作，这样可以更加便捷的使用deepseek模型。
-
进入chatbox官网,下载chatbox安装包
-
安装chatbox软件，可以自定义安装位置
-
安装好之后自动运行chatbox软件，点击“使用自己的API KEY或本地模型”，配置刚刚部署的14b模型。
选择Ollama API选项
然后选择已经部署好的14b模型
这样就把deepseek部署到本地，并且可视化使用。