当前位置: 首页 > article >正文

【Ai】DeepSeek本地部署+Page Assist图形界面

准备工作

1、ollama,用于部署各种开源模型,并开放接口的程序

https://ollama.com/download

2、deepseek-r1:32b 模型
https://ollama.com/library/deepseek-r1:32b
不同的模型版本对计算机性能的要求不一样,版本越高对显卡和内存的要求越高,大致如下

  • 7b:32GB内存,8GB显存
  • 32b:128GB内存,24GB显存

3、Page Assist,浏览器插件,用于可视化的模型对话,特点是可接入联网搜索,并且很方便能配合嵌入模型

Firefox商店链接: Page Assist - Firefox Add-ons

安装完成后,可以通过以下方式打开Page Assist:

  • 侧边栏:使用快捷键Ctrl+Shift+P
  • Web UI:点击扩展图标,或使用快捷键Ctrl+Shift+L

首次使用需要配置本地AI模型,目前支持Ollama和Chrome AI (Gemini Nano)

下载安装

安装ollama

直接下载安装即可
在这里插入图片描述

配置环境变量

注意,配置完成后,要重启ollama

打开powershell命令窗口

1、模型存储目录

setx OLLAMA_MODELS D:\soft\ai\model

2、设置ollama服务启动配置

setx OLLAMA_HOST 0.0.0.0
setx OLLAMA_ORIGINS extension://*

在这里插入图片描述

安装DeepSeek模型

打开 https://ollama.com/search 第一个就是

在这里插入图片描述

复制执行命令,在powershell中运行即可,比如

ollama run deepseek-r1:32b
或
ollama run deepseek-r1:8b

在这里插入图片描述

安装模型需要等一段时间

在这里插入图片描述

经过数个小时的等待,终于完成了,使用命令提问试试

在这里插入图片描述
同时安装deepseek-r1:8b测试体验

在这里插入图片描述

GPU加速

模型启动默认使用CPU推理,速度较慢;可以配置使用GPU加速。

编辑文件(如果没有就创建一个)~/.ollama/config.json

{
  "gpu": true,
  "cuda": true
}

重启ollama服务,终止线程,然后使用命令启动ollama serve,可以看日志是否使用GPU

运行模型后,使用 nvidia-smi 命令查看 GPU 占用

接入 Page Assist

用Firefox打开 https://addons.mozilla.org/en-US/firefox/addon/page-assist/ 安装插件,安装完成后,打开设置,可以配置ollama地址,截图示例是默认地址,正常是直接连上的。

在这里插入图片描述

使用web页面提问,还可以联网搜索
在这里插入图片描述

使用deepseek-r1:8b测试体验,速度快很多
在这里插入图片描述
添加嵌入模型,ollama pull nomic-embed-text,然后在插件里RAG设置中选择嵌入模型即可

在这里插入图片描述

总结

我的电脑配置(12代i7cpu,40G内存,3060显卡6G显存)勉强能跑,不过提问回复很慢,效果很差。换8b的模型快了很多。

可能是模型级别太低的原因,本地模型使用效果一直不理想,问一些历史问题错误很多。


http://www.kler.cn/a/530498.html

相关文章:

  • 深度学习之“线性代数”
  • C#常用744单词
  • 海外问卷调查之渠道查,企业经营的指南针
  • 【Git】初识Git Git基本操作详解
  • 基于VMware的ubuntu与vscode建立ssh连接
  • Docker 仓库管理
  • 【软件测试项目实战】淘宝网订单管理功能
  • 项目集成Spring Security授权部分
  • 2025年2月2日(range()函数的参数及含义)
  • 「全网最细 + 实战源码案例」设计模式——享元模式
  • 【C++面试题】malloc和new delete和delete[]
  • 在AWS上使用Flume搜集分布在不同EC2实例上的应用程序日志具体流程和代码
  • Golang 并发机制-4:用Mutex管理共享资源
  • 毕业设计:基于卷积神经网络的鲜花花卉种类检测算法研究
  • 51单片机 02 独立按键
  • 享元模式——C++实现
  • Java基础知识总结(四十)--Java.util.Properties
  • 浅析服务器虚拟化技术
  • unity学习26:用Input接口去监测: 鼠标,键盘,虚拟轴,虚拟按键
  • Leetcode:598
  • 深入核心:一步步手撕Tomcat搭建自己的Web服务器
  • Ubuntu 下 nginx-1.24.0 源码分析 ngx_debug_init();
  • 构建一个文档助手Agent:提升知识管理效率的实践
  • CUDA内存模型
  • 力扣经典题目之3无重复字符的最长子串
  • STL之初识string