当前位置: 首页 > article >正文

4060ti-16G显卡部署deepseek-32B(支持联网搜索)

4060ti-16G显卡部署deepseek-32B

  • 前言
  • 部署deepseek
    • 运行命令
    • ollama 显卡占用
    • 测试模型速度
    • 模型简单测试
  • 客户端
    • Chatbox AI
    • Open WebUI
    • page assist
  • 总结

前言

deepseek年前狠狠的火了一把,笔者电脑是48G内存+4060ti 16G显卡,试试32b的参数效果咋样。按照ollama的官网提示,32b参数的所占空间是20G,可以使用GPU+CPU的方式运行(Ollama默认支持)

在这里插入图片描述

部署deepseek

运行命令

ollama run deepseek-r1:32b

在这里插入图片描述

ollama 显卡占用

查看ollama 内存占用比例,GPU占用70%左右

ollama ps
在这里插入图片描述

测试模型速度

查看模型token生成速度 :加个参数–verbose

ollama run --verbose deepseek-r1:32b

4060ti 16G 生成的token还是挺慢的,只有6t/s
在这里插入图片描述
在这里插入图片描述
占用GPU内存不是很大,GPU问题也不高,运行还可以。

模型简单测试

可以拿以下两个数学题考验下

a^8 =4^a 求a (结果为16)

在这里插入图片描述
结果是错的,满血版本的回答是对。

判断1117117是否为素数 (是)

在这里插入图片描述

结果正确(小于32b就回答错误了)

客户端

要支持deepseek联网功能,需要下载客户端

Chatbox AI

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

官网下载windows版本后直接打开,配置选择OLLAMA API 接口
在这里插入图片描述

联网功能:
实际上本地的大模型是无法使用联网,搜索的数据是第一部的(当前是2025-3-9,票房是146.5亿)。

后面版本升级后,联网功能已经可以完全正常使用了,看起来还是非常强大的。
在这里插入图片描述

Open WebUI

docker安装可以参考上一篇文章,此次使用了python安装
(后面发现使用python安装时间很长,花了四五十分钟,推荐docker安装)

在这里插入图片描述
按照上面的启动安装后如下图就是代表启动成功了
在这里插入图片描述
启动页面
在这里插入图片描述
open webui使用联网需要自己提供api,无法免费使用联网功能

在这里插入图片描述
在这里插入图片描述

page assist

Page Assist 是一个开源浏览器插件,同时提供侧边栏和网页界面,主要用于与本地 AI 模型进行交互。安装非常的简单、简洁。非常适合想要及时体验大模型的人员。在Google应用商店可以安装(需要绿色上网)

在这里插入图片描述
打开后可以设置选择模型
在这里插入图片描述
设置联网搜索引擎
在这里插入图片描述
非常简单的对话框,联网查询
在这里插入图片描述

在这里插入图片描述

模型生成的速度,这个插件比较好的就是可以及时看到大模型的生成速度
在这里插入图片描述

总结

量化后的32b模型,整体体验上还是不错的,回答的也还可以,不过速度的话确实是慢一点了,一道问题加上推理要两三分钟,使用14B的话速度会更快一点,但是效果会比较差点。可以回答一些简单的问题,也可以尝试使用联网搜索帮你总结。但还是远远不能跟满血版的比较。客户端的话,个人使用的话推荐使用Chatbox AI、以及page assist。Open WebUI实在是太大太臃肿了,不过好在于功能强大,更适合企业去定制化做拓展。当然48+16的配置也可以上72b参数的模型,但是速度会非常的慢,只有0点几的token,就没必要体验了。


http://www.kler.cn/a/588391.html

相关文章:

  • Android Room 框架表现层源码深度剖析(三)
  • Spring MVC 核心组件详解
  • Go语言进化之旅:从1.18到1.24的语法变革
  • 【SpringMVC】常用注解:@MatrixVariable
  • Spark sql 中row的用法
  • 深度学习 Deep Learning 第3章 概率论与信息论
  • 【C++初阶】模板初阶
  • C++内存管理(复习)
  • 游戏成瘾与学习动力激发策略研究——了解“情感解离”“创伤理论”
  • OpenHarmony项目的应用在DevEco Studio配置项目中固定的一键签名
  • android ConstraintLayout布局 实战:打造复杂界面的最佳实践
  • 网络规划设计师软考个人学习资料分享
  • stl之string的详解
  • thefuck是如何帮助你提高命令行效率
  • C#开发笔记:INI文件操作
  • 分别用树型和UML结构展示java集合框架常见接口和类
  • 从Instagram到画廊:社交平台如何改变艺术家的展示方式
  • 掌握Windows命令提示符中的万能符:*号的全方位使用指南
  • Java基础编程练习第32题-定义接口(Biology、Animal)、类(Person)、子类(Pupil)(PTA选题)
  • 使用c#进行串口通信