当前位置: 首页 > article >正文

Deepseek r1 本地部署

1.环境需求:

1. 独显
  
2. 最好32g+内存
  
3. 安装 ollama
  
 https://ollama.com/download/windows
  

2. 安装 deepseek-r1
  

https://ollama.com/library/deepseek-r1

根据显存选择对应大小的模型,推荐能将整个模型放入显存的大小,放不下的话会将一部分放到内存中,生成速度会变慢,最佳效果是显存>模型大小*2;

如选择 7b 模型,则 cmd 输入ollama run deepseek-r1,下载速度比较慢的话可以使用 Ctrl+C 断联在重新下载,会自动继续。

3.  安装 cuda(非必须)

安装 cuda 能加速字符的生成。

https://developer.nvidia.com/cuda-toolkit

4. 安装 open-webui(非必须,需要有python环境)

图形界面,自动读取 ollama 中的模型,便于使用。 // 安装pip install open-webui// 启动open-webui serve

5. 开始使用

访问 http://localhost:8080/,选择对应模型,开始使用。

Ps. 我的电脑配置是 i5-12450k + 4050 8g

* Deepseek-r1 14b 模型加载时间在30-60s,每秒钟2-3个中文字符的生成速度,时间上基本是不可用状态;
  
* Deepseek-r1 7b 模型加载时间在5s左右,每秒钟10-20个中文字符的生成速度,已经赶上了在线模型的速度;
  
* 在一些通用问题上,7b和14b的模型效果没有明显的区别。


http://www.kler.cn/a/592730.html

相关文章:

  • 一键批量DWG_DXF文件互转——CAD c#插件实现(dwg转dxf dxf转dwg)
  • 物联网为什么用MQTT不用 HTTP 或 UDP?
  • 关于QMetaObject::invokeMethod的作用和用法
  • 2025火狐插件被禁用解决方案 could not be verified for use in Firefox and has been disabled
  • php 高性能,高并发,有哪些框架,扩展,推荐一下,或者技术的实现有哪些
  • Weblogic未授权远程命令执行漏洞复现
  • 【内付相关主题会议进行参考】智能技术应用前沿:算法、感知与控制的学术支点与产业衔接
  • 配置固定ip绕过ip限制
  • 动平衡仿真程序设计
  • JVM 的类加载机制原理
  • Flask应用调试模式下外网访问的技巧
  • 类和对象C++
  • keepalived应用
  • 2025年【安全员-C证】新版试题及安全员-C证理论考试
  • HTTP请求方法详解:GET、POST、PUT在微信小程序中的应用
  • milvus实战-基于Ollama+bge-large-zh搭建嵌入模型,fastAPI提供http服务将PDF文件写入milvus向量库
  • Java 文件和IO流基础(生动形象版)
  • jmeter中,上传文件的MIME类型
  • pnpm config set ignore-workspace-root-check true
  • CSS三大特性、显示模式、背景与书写顺序