当前位置: 首页 > article >正文

deepseek本地部署+结合思路

deepseek本地部署

配置:

建议配置

运行内存16GB+

显卡:4060+

操作系统:win11/win10

存储:512GB+

一、安装Python 3.11环境(参见)

超详细的Python安装和环境搭建教程_python安装教程-CSDN博客

二、安装Docker

Docker 安装 (完整详细版)_docker安装-CSDN博客(他这个是linux的,咱们安装win的即可,操作命令win的有些许不同,像平常的软件一样安装就行,如果打开有黑框,升级更新即可,只不过服务源要换到国内的,下面是更换方法)

1、打开软件,登陆后来到设置,如下图所示

把我下文中的内容粘进去,保存即可

粘入的内容: 

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  },
  "registry-mirrors": [
    "https://82m9ar63.mirror.aliyuncs.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ]
}

三、下载ollama

链接如下:

奥拉马https://ollama.com/参考部署文章:深度搜索-R1

不看这个跟着来也行:

win+R  cmd 打开命令窗口:

版本:1.5b,适用于一般文字编辑使用(需要1.1GB空余空间)

ollama run deepseek-r1:1.5b
版本:7b,DeepSeek的第一代推理模型,性能与OpenAl-01相当,包括从基于Llama和Qwen的DeepSeek-R1中提取的六个密集模型(需要4.7GB空余空间)

ollama run deepseek-r1:7b
版本:8b,(需要4.9GB空余空间)

ollama run deepseek-r1:8b【本文用的是这个】
版本:14b,(需要9GB空余空间)

ollama run deepseek-r1:14b
版本:32b,(需要20GB空余空间)

ollama run deepseek-r1:32b
版本:70b,(需要43GB空余空间)

ollama run deepseek-r1:70b
版本:671b,(需要404GB空余空间)

ollama run deepseek-r1:671b

上面的命令,随便选一个,然后运行等待即可

运行完后大致是这样:

四、部署可视化界面

保持网络链接,关闭命令窗口,重新win+r cmd 打卡,使用以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

参考:【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程,没有连接互联网一样可以使用AI大模型!!!_ollama webui-CSDN博客

安装完后:localhost:3000

登录按照格式随便填即可

五、此时因为模型初次部署,可能存在互相认不到的情况

1、重新启动计算机

2、重启后先打开:ollama【没错就是那个羊驼】

3、打开Docker Desktop

点击小三角,运行系统

打开浏览器

输入:Open WebUIhttp://localhost:3000/

 登录后,来此选择部署的大模型:

此时完成部署:

结合思路:

基于Deepseek离线部署能力,且大小使得多数系统可接受。

那么基于当前训练模型,针对不同情况进行针对性算法训练,比如你是一个厨师,那就只会做饭,会很多菜谱,基于行为模式进行模型训练部署,极大的减少模型尺寸,提高系统运行效率。

当然也可根基此逻辑,比如让游戏的人物自由的与玩家对话,根据不同的人物性格,赋予不同的AI大模型训练方向,甚至是智能家居等等

Deepseek【基于语言开源离线模型修改部署,其他的暂未测试】+unity模拟逻辑运行,如下:

在unity中启用Python,部署房间场景环境:

然后我们创建好人物,部署好动画和状态机FSM或behavior tree都行,这里我用的是behavior tree,原理都是一样的,只不过后者有可视化,直观点

然后我们在对应的位置创建好逻辑交互点(逻辑交互范围)

然后编写代码调用DeepSeek,调用逻辑如下:

1、发出指令

比如:机器人去做一道菜

2、描述厨房关键点环境信息(比如厨房有水槽、切菜板、灶火...)

3、让deepseek做菜时,依照首先、其次、然后、接着....关键顺序词逻辑进行描述

4、以关键词进行分割,建立任务队列(代码体现就是个栈),执行分割后关键词内的关键信息内容,对应去执行

5、调用寻路算法,按照队列,触发对应行为树操作逻辑,并触发动画,通过分割任务,让deepseek完成任务逻辑的命令下达,然后分配队列,完成操作

6、执行完后自动结束任务,下图为通过deepseek下达加热冰箱食物任务,目标人物已经完成从冰箱取出食物,移动到微波炉,当前是已放入食物后,机器人在加热等待的场景

虚幻引擎同理


http://www.kler.cn/a/530969.html

相关文章:

  • 影视文件大数据高速分发方案
  • 100.2 AI量化面试题:在构建多因子选股模型时,如何有效处理因子之间的共线性问题?请给出具体的解决方案
  • 在Arm芯片苹果Mac系统上通过homebrew安装多版本mysql并解决各种报错,感谢deepseek帮助解决部分问题
  • 《编写可读代码的艺术》读书笔记
  • leetcode 844 比较含退格的字符串
  • 844.比较含退格的字符串
  • sql主从同步
  • Med-R2:基于循证医学的检索推理框架:提升大语言模型医疗问答能力的新方法
  • URL 和 URI 的区别
  • java命令详解
  • 二维前缀和:高效求解矩阵区域和问题
  • 【实战篇】Android安卓本地离线实现视频检测人脸
  • LabVIEW图片识别逆向建模系统
  • 嵌入式知识点总结 操作系统 专题提升(四)-上下文
  • Vue3学习笔记-条件渲染和列表渲染-3
  • WPS动画:使图形平移、围绕某个顶点旋转一定角度
  • [SAP ABAP] ABAP SQL跟踪工具
  • RabbitMQ快速上手及入门
  • 机器学习10
  • guava:基于TypeToken解析泛型类的类型变量(TypeVariable)的具体类型
  • Python处理数据库:MySQL与SQLite详解
  • Python小游戏29乒乓球
  • SQL范式与反范式_优化数据库性能
  • 基于LLM的路由在专家混合应用:一种新颖的交易框架,该框架在夏普比率和总回报方面提升了超过25%
  • S4 HANA明确税金汇差科目(OBYY)
  • Windows 中的 WSL:开启你的 Linux 之旅