当前位置: 首页 > article >正文

【DeepSeek】本地快速搭建DeepSeek

博主未授权任何人或组织机构转载博主任何原创文章,感谢各位对原创的支持!
博主链接

博客内容主要围绕:
       5G/6G协议讲解
       高级C语言讲解
       Rust语言讲解



文章目录

  • 本地快速搭建DeepSeek
    • 一、安装及配置ollama
    • 二、DeepSeek模型选择
    • 三、本地运行DeepSeek
    • 四、安装chatbox实现界面化问答

本地快速搭建DeepSeek

       首先,我们安装ollama程序,里面已经集成了适用于本地推理的deepseek-r1模型,之后我们根据本地显卡的显存大小选择一个合适的模型进行本地部署,最后我们使用chatbox搭建一个界面化的问答窗口。

一、安装及配置ollama

       首先下载 ollama,下载完成后双击 .exe 可执行文件安装即可,安装完成后配置模型下载地址(默认模型会下载到C盘用户目录的 .ollama 目录里):

  1. 首先进入高级系统设置
    在这里插入图片描述

  2. 点击环境变量
    在这里插入图片描述

  3. 新建系统环境变量
    在这里插入图片描述

  4. 设置 OLLAMA_MODELS环境变量
    在这里插入图片描述

  5. 安装完成后一路点击确定即可,然后我们在cmd窗口中执行 set 命令查看配置结果:
    在这里插入图片描述

  6. 最后进入cmd命令窗口执行

    ollama -v
    

    如果显示出版本号,表示正确安装

二、DeepSeek模型选择

       我们这里只介绍本地能够部署的 DeepSeek-R1-Distill 模型,

模型需要的显存
DeepSeek-R1-Distill-Qwen-1.5B3~4G
DeepSeek-R1-Distill-Qwen-7B14~16G
DeepSeek-R1-Distill-Llama-8B16~18G
DeepSeek-R1-Distill-Qwen-14B28~32G
DeepSeek-R1-Distill-Qwen-32B64~72G
DeepSeek-R1-Distill-Llama-70B140~160G

DeepSeek-R1-Distill 模型基于开源模型进行微调,使用DeepSeek-R1生成的样本,稍微改变了它们的配置和标记器。而DeepSeek-R1- zero和DeepSeek-R1是基于DeepSeek-V3-Base 训练的。

我们cmd命令窗口中执行 dxdiag 命令查看显存大小
      
在这里插入图片描述

三、本地运行DeepSeek

       通过上一步操作可以确定适用于我们的模型了(如果是集成显卡,请使用1.5B的模型),后面我们进入 ollama 网站,选择适用于我们的模型进行下载和部署:

在这里插入图片描述
复制命令后在cmd中执行即可,如果本地没有这个模型,会先下载,执行完成后就可以开始问答了

在这里插入图片描述

四、安装chatbox实现界面化问答

       通过命令行窗口的方式进行问答有些粗糙,我们下载 ChatBox 进行可视化的问答。下载安装后我们来配置参数,以使用本地的模型进行问答:

在这里插入图片描述



在这里插入图片描述


http://www.kler.cn/a/529280.html

相关文章:

  • 智能家居监控系统数据收集积压优化
  • WebForms DataList 深入解析
  • 单细胞分析基础-第一节 数据质控、降维聚类
  • arkts bridge使用示例
  • riscv xv6学习笔记
  • 深入理解Flexbox:弹性盒子布局详解
  • 10 Flink CDC
  • 【Java异步编程】CompletableFuture实现:异步任务的串行执行
  • 编程AI深度实战:给vim装上AI
  • java_包装类
  • 边缘检测算法(candy)
  • 高速PCB设计指南6——电源完整性
  • 【学习笔记之coze扣子】智能体创建
  • Mac M1 源码安装FFmpeg,开启enable-gpl 和 lib x264
  • Agentic Automation:基于Agent的企业认知架构重构与数字化转型跃迁---我的AI经典战例
  • vue面试题|[2025-2-1]
  • 只需5步,免费使用Ollama本地运行DeepSeek-R1模型
  • 关于matlab中rotm2eul的注释错误问题
  • Ollama部署指南
  • Autogen_core源码:_agent.py
  • H3CNE-33-BGP
  • 【Rust自学】19.1. 摆脱安全性限制的unsafe Rust
  • “新月智能武器系统”CIWS,开启智能武器的新纪元
  • spring和Mybatis的逆向工程
  • 在5G网络中使用IEEE 1588实现保持时间同步
  • 2025开源DouyinLiveRecorder全平台直播间录制工具整合包,多直播同时录制、教学直播录制、教学视频推送、简单易用不占内存