当前位置: 首页 > article >正文

本地算力部署大模型详细流程(一)

1、版本选择

本地部署就是自己部署deepseek模型,使用本地的算力。

  • 主要瓶颈:内存+显存的大小。
  • 特点:此方案不用联网。
  • 适合:有数据隐私方面担忧的或者保密单位根本就不能上网的。

在这里插入图片描述

2、部署过程

比较流行的是使用ollama:https://ollama.com/
Ollama(在本地作为服务端,可以是别的平台)+ Open WebUI等(https://github.com/open-webui/open-webui,前端,可以是别的工具如Chrome插件Page Assist或Anything LLM)

步骤1:下载Ollama

在这里插入图片描述

步骤2:安装Ollama

自定义Ollama安装路径

手动创建Ollama安装目录

首先在你想安装的路劲下创建好一个文件夹,并把Ollama的安装包放在里面。比如我的是:D:\softw\Ollama

在这里插入图片描述

在文件路径上输入CMD回车

在这里插入图片描述

输入命令符安装

然后再CMD窗口输入:OllamaSetup.exe /DIR=D:\softw\Ollama
语法:软件名称 /DIR=这里放你上面创建好的Ollama指定目录

在这里插入图片描述

在这里插入图片描述

手动创建大模型存储目录

添加环境变量

右键“我的电脑”,选择“属性”,按如下方式配置:

在这里插入图片描述

在这里插入图片描述

注意:修改完之后,需要重启Ollama客户端,右键图标,选择退出,重新运行Ollama

在这里插入图片描述

验证安装

”win+r“输入cmd

命令行输入如下:

ollama -v

在这里插入图片描述

能显示ollama版本说明安装成功。

步骤3:选择r1模型

在这里插入图片描述

在这里插入图片描述

  • b代表10亿参数量,8b就是80亿参数量。这里的671B是HuggingFace经过4-bit 标准量化的,所以大小是404GB。
  • ollama 支持 CPU 与 GPU 混合推理。将内存与显存之和大致视为系统的 “总内存空间”。

步骤4:本地运行DeepSeek模型

在命令行中,输入如下命令:

ollama run deepseek-r1:8b

在这里插入图片描述

下载支持断点续传,如果下载中速度变慢,可以鼠标点击命令行窗口,然后ctrl+c取消,取消后按方向键“上”,可以找到上一条命令,即”ollama run deepseek-r1:8b“,按下回车会重新链接,按照之前进度接着下载。

下载完成后,自动进入模型,直接在命令行输入问题,即可得到回复。

  • 比如:打个招呼!

在这里插入图片描述

  • 获取帮助:
/?
  • 退出对话:
/bye

步骤5:查看已有模型

ollama list

后续要运行模型,仍然使用之前的命令:

ollama run deepseek-r1:8b

http://www.kler.cn/a/584396.html

相关文章:

  • 虚幻引擎入门
  • 玩转云服务器——阿里云操作系统控制台体验测评
  • 游戏引擎学习第154天
  • Hutool RedisDS:Java开发中的Redis极简集成与高阶应用
  • 云原生性能测试全解析:如何构建高效稳定的现代应用?
  • 一文了解JVM的垃圾回收
  • LLMs基础学习(二)涌现能力、Scaling Law 和 幻觉
  • Science Advances 视触觉传感机制的交互装置,可以实时测量来自手不同部位的分布力
  • 《苍穹外卖》SpringBoot后端开发项目核心知识点与常见问题整理(DAY1 to DAY3)
  • 2025年渗透测试面试题总结-阿里巴巴-阿里云安全 一面、三面(题目+回答)
  • 从零构建逻辑回归: sklearn 与自定义实现对比
  • HTML5(Web前端开发笔记第一期)
  • 【ubuntu】——wsl中使用windows中的adb
  • 《深度剖析:鸿蒙系统下智能NPC与游戏剧情的深度融合》
  • 第27周JavaSpringboot 前后端联调
  • 走进Java:类和对象的初步理解
  • latex问题汇总
  • 【HarmonyOS Next之旅】DevEco Studio使用指南(二)
  • 【Linux学习笔记】Linux用户和文件权限的深度剖析
  • C++ 邻接矩阵(代码)