当前位置: 首页 > article >正文

DeepSeek-R1大模型本地化部署

前言

Ollama作为一个轻量级、易上手的工具,可以帮助你在自己的电脑上快速部署和运行大型语言模型,无需依赖云端服务。通过加载各种开源模型,比如LLaMA、GPT-J等,并通过简单的命令行操作进行模型推理和测试。

此小结主要介绍使用ollama作为基础平台,并拉取对应的开源大模型后在本地搭设测试环境;
这样子就可以直接在本机运行大模型;

此部分仅介绍命令行下的本地大模型部署,后续将会介绍如何封装接口创建Web端以及移动端应用


关注ZhillerDev微信号,获取文章Markdown&PDF文件,快速构建个人知识库!!!

十分钟快速部署本地DeepSeek大模型!

在这里插入图片描述

文章目录

  • 前言
  • 基本部署
    • 安装ollama
    • 安装大模型
    • 修改安装地址
  • 测试大模型
  • 总结


基本部署

安装ollama

Ollama 是一个开源工具,专门为开发者设计,用于简化大语言模型(LLM)的本地化部署和管理。它的核心目标是将复杂的模型部署过程变得简单易用,同时提供高效的推理服务。Ollama 不仅支持模型的加载和运行,还提供了模型管理、性能监控、参数配置等功能,帮助开发者在本地环境中快速搭建和优化大语言模型服务。

前往ollama官方网站下载,选择对应的平台下载安装包后安装即可
我这边图方便用的是windows,下载完成后会得到一个msi安装包,打开后直接一路下一步即可完成安装
在这里插入图片描述

安装大模型

此部分将带领你安装最新的DeepSeek-R1:1.5b 大模型

点击此链接前往ollama官网的模型搜索界面:点击前往
直接搜索deepseek即可,我们这里要测试的大模型是deepseek-r1,点击进去即可
在这里插入图片描述

为便于测试,这里直接就选择一个最小的模型。
该模型是1.5b的,选择完毕后点击复制右侧的命令
在这里插入图片描述

打开任意一个命令行(win+r打开运行界面,然后输入cmd后回车运行即可)
输入我们刚刚复制的命令然后运行即可下载对应的大模型了!

ollama run deepseek-r1:1.5b

修改安装地址

当然,下载的模型默认存储在C盘,这很不合理,你可以使用下面的代码把模型下载地址更改为你想要的位置;
请注意,修改完毕后务必重新启动ollama使得路径生效;

set OLLAMA_MODELS="D:\your\custom\path"

下载完毕后我们使用该代码看一下目前以及安装了那些大模型:
加上我之前为了测试下载的tinyllama包括现在下载的deepseek,一共两个大模型

ollama list

在这里插入图片描述


测试大模型

最后直接使用此方法在命令行运行大模型即可(千万注意模型的名字必须和我们上面列出来的名字完全一致,特别是我这边下载的是1.5b版本,如果不带上这个后缀的话,那么ollama就会因为找不到模型而重新下载一个其他的模型!!!)
之后就可以愉快的开始对话了~
在这里插入图片描述


总结

主要介绍如何使用ollama搭设本地大模型平台,快速使用DeepSeek-R1大模型


http://www.kler.cn/a/529693.html

相关文章:

  • Pyecharts之图表样式深度定制
  • Linux命令入门
  • AIGC技术中常提到的 “嵌入转换到同一个向量空间中”该如何理解
  • nginx目录结构和配置文件
  • 【C语言指针】指针和函数
  • 01.01、判定字符是否唯一
  • 【前端学习路线】前端生态 详细知识点学习路径(附学习资源)
  • leetcode 2187. 完成旅途的最少时间
  • 如何用微信小程序写春联
  • 十一、实战案例
  • Java Web的发展史与SpringMVC入门学习(SpringMVC框架入门案例)
  • 深度学习深度解析:从基础到前沿
  • 基于FPGA的BT1120编解码
  • 女生年薪12万,算不算属于高收入人群
  • 每日一个小题
  • Vue.js `v-memo` 性能优化技巧
  • helm-dashboard为Helm设计的缺失用户界面 - 可视化您的发布,它提供了一种基于UI的方式来查看已安装的Helm图表
  • 根据草图或图片生成网页提示词prompt
  • vue入门到实战 三
  • 基于单片机的盲人智能水杯系统(论文+源码)
  • 93,【1】buuctf web [网鼎杯 2020 朱雀组]phpweb
  • 从实验室到现实,机器人泛化的秘密:Scaling Law如何重塑机器人学习
  • 数据库 - Sqlserver - SQLEXPRESS、由Windows认证改为SQL Server Express认证进行连接 (sa登录)
  • 在Ubuntu上使用Docker部署DeepSeek
  • 基于密度泛函理论研究二维材料掺杂前后光电性能变化的模拟项目规划
  • JavaScript系列(53)--内存管理与垃圾回收机制详解