如何在本地部署deepseek-r1模型【详细步骤】
引言:最近在跟几个朋友聊到企业AI应用的时候,发现我们虽然一直在使用各种大模型提供的端侧应用,聊天APP等,但是对很多企业来说,私有数据不方便上传至公网,提问记录也不希望被公网记录。当然还有一个重要的原因就是Token的消耗。当然大部分企业也不会投入大成本进行大模型的训练,由此在本地部署LLM,也是一个比较迫切的需求。很多人也想在自己机器上部署大模型,创建自己的模型,今天咱们就以deepseek-r1模型为例,使用Ollama部署本地模型。
首先简单介绍下Ollama,一个开源工具,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。能帮助我们在自己的设备上加载、运行和交互各种LLM模型,deepseek也不例外。
接下来我们就要使用Ollama来本地部署deepseek-r1模型。步骤超简单,有手就会。
Step1: 下载安装Ollama
进入Ollama官网,https://ollama.com/ 不用梯子,直接可访问。如图
点击 Download ,选择自己的操作系统,下载Ollama,我这里选择的是macOS。
macOS下载的zip文件大约180M,解压后,傻瓜式的next,直到安装完成。
安装完成后,在命令行(windows下是cmd窗口)输入:ollama ,如果出现下图中的提示,说明安装完成。
Step2: 下载deepseek-r1 模型
进入Ollama官网,点击Models,排名第一的就是deepseek-r1模型。你也可以在这里搜索其他感兴趣的模型。
点击模型名字后,进去模型详情界面,先选择模型参数,默认是7b, 可根据自己的机器配置选择相应的模型大小,我机器比较菜,为了快速验证,我选的是1.5b。选择完模型参数后,点击右边的复制按钮,复制模型运行命令。
然后将命令粘贴到命令窗口运行,就开始下载模型了。根据模型大小和网速,估计要20分钟左右,出现如下窗口,就说明下载完成了,就可以直接输入消息进行本地模型对话了。
Step3: 进行对话
对话示例
<think> 部分是deepseek-r1模型的思考过程,</think> 下面是具体输出的回答。
通过以上简单三步操作,你就拥有本地的deepseek-r1模型啦,快动手试试吧。