当前位置: 首页 > article >正文

本地私有化部署 DeepSeek Dify ,告别“服务器繁忙,请稍后再试”

前言

DeepSeek 最近实在太火爆了,导致官网对话访问经常提示“服务器繁忙,请稍后再试”。 如下图所示:

DeepSeek访问问题

关于什么是DeepSeek这里就不科普了,自己上网随便查一下就知道了。

DeepSeek

官网:https://www.deepseek.com/

目前DeepSeek最大的问题是访问流量太大,导致用户体验不好,它的深度思考模型和联网能力没有充分发挥出来,不过我相信后续加大投入,这类问题应该能得到缓解。

本文主要面向想在本地部署私有模型的开发同学,打造专属私人AI助手。

前置准备

硬件环境

  • MacBook Pro(推荐)
  • CPU >= 2 Core
  • 内存 >=16GB (推荐)

笔者的电脑配置:

电脑配置

软件环境

  • Docker
  • Docker Compose
  • Ollama
  • Dify 社区版
  • ChatBox

注:这里只演示在MacBook的部署过程,Windows和Linux的同学请自行实践。

安装Ollama & 加载模型

什么是Ollama?

Ollama 是一款跨平台的大模型管理客户端(MacOS、Windows、Linux),旨在无缝部署大型语言模型 (LLM),例如 DeepSeek、Llama、Mistral 等。Ollama 提供大模型一键部署,所有使用数据均会保存在本地机器内,提供全方面的数据隐私和安全性。

Ollama 下载页面

官网:https://ollama.com/

下载&加载本地模型

下载安装完ollama后,通过命令行可以查看对应的版本,并可以开始部署你想要的模型,这里选择的是deepseek-r1(默认是7b)。

通过ollama运行DeepSeek R1模型

deepseek-r1 模型版本

https://ollama.com/library/deepseek-r1

ollama run deepseek-r1

安装交互式UI:ChatBox

什么是ChatBox?

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

https://chatboxai.app/zh

chatbox 设置

  • 选择模型提供方:OLLAMA API
  • 填入API域名:http://127.0.0.1:11434
  • 选择模型:deepseek-r1:latest

验证本地模型对话

使用deepseek-r1对话结果

至此你已经可以通过chatbox来跟deepseek对话, 如果你只是想体验DeepSeek的功能, 下面关于Dify 大模型服务搭建可以略过。

Dify 搭建个人知识库

什么是Dify?

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。

Docker Compose部署

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env

参考Docker Compose部署
https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

启动Docker容器

docker compose up -d # 如果版本是Docker Compose V1,使用命令:docker-compose up -d

假设遇到以下问题,可以在前面我们安装的Docker Desktop设置里面配置镜像:

镜像失效问题

Docker Engine 配置

增加代理镜像

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://registry.dockermirror.com",
    "https://docker-0.unsee.tech",
    "https://docker.1panel.live",
    "https://docker.imgdb.de",
    "https://docker.m.daocloud.io",
    "https://docker.tbedu.top",
    "https://image.cloudlayer.icu",
    "https://docker.melikeme.cn",
    "https://cr.laoyou.ip-ddns.com",
    "https://dockerpull.cn",
    "https://hub.fast360.xyz",
    "https://docker.hlmirror.com"
  ]
}

国内代理经常失效或访问超时,这里可以多尝试几次,或者配置新的代理镜像地址。

参考:目前国内可用Docker镜像源汇总(https://www.coderjia.cn/archives/dba3f94c-a021-468a-8ac6-e840f85867ea)

镜像容器启动成功如下所示:

docker容器启动成功截图

Dify 平台添加Ollama模型

1、浏览器访问http://localhost/(默认 80 端口),进入Dify。

2、首次进入初始化设置账号密码

3、点击 Dify 平台右上角头像-> 设置 -> 模型供应商,选择Ollama,点击“添加模型

添加 Ollama

  • 模型名称:deepseek-r1
  • 基础URL:http://host.docker.internal:11434

Ollama 模型

Dify 创建应用

Dify 创建聊天助手

Dify支持聊天助手、Agent、文本生成等基础应用,还支持进阶应用Chatflow和工作流。这里我们先简单尝试创建聊天助手,填入基本信息,点击“创建”即可。

Dify 创建知识库

主页选择知识库 -> 创建知识库 -> 上传知识,搭建属于你自己的知识库。

Dify 创建知识库

使用知识库

AI应用引用知识库

至此,基于Dify搭建个人知识库已完成, 如此一来模型可以基于知识库输出更精确的的问答。

写在最后

本文实践了如何通过Ollama 本地部署DeepSeek R1 模型,并且尝试通过Dify 平台来创建个人知识库,进而搭建专属私人的AI 助手。笔者在实践的过程中也收获良多,打开了自己尝试AI工具的思路。

DeepSeek 的爆火估计会让全球科技巨头重新审视“大力(堆芯片,高成本)出奇迹”的问题,一家名不见经传的小公司为什么能够突破创新,而且诞生在中国,难道我们已经摆脱“追随者”的身份了?我相信这只是开始,AI军备竞赛已经开始打响,作为普通人无法避开科技浪潮,如何不让自己随波逐流,或许我们需要躬身入局去体验,思考和探索。


http://www.kler.cn/a/536304.html

相关文章:

  • 鸿蒙UI(ArkUI-方舟UI框架)- 使用文本
  • 一、lambda表达式处理stream操作
  • 多用户同时RDP登入Win10
  • 神经网络常见激活函数 1-sigmoid函数
  • 2.Python基础知识:注释、变量以及数据类型、标识符和关键字、输入函数、输出函数、运算符、程序类型转换
  • Java 面试真题解析与技巧分享
  • 小米官博宣布:首款AI眼镜即将发布
  • Java实现网络安全编程数字信封 网络安全 java
  • 深入解析:如何利用 Python 爬虫获取商品 SKU 详细信息
  • 深入理解 YUV Planar 和色度二次采样 —— 视频处理的核心技术
  • 第30节课:前端架构与设计模式—构建高效可维护的Web应用
  • 《金字塔原理》笔记
  • 【JS】element-ui 中 table的select事件
  • source 与 shell 之详解(Detailed Explanation of Source and Shell)
  • 集合类不安全问题
  • tqdm用法教程
  • 【JavaScript】《JavaScript高级程序设计 (第4版) 》笔记-Chapter5-基本引用类型
  • Python调取本地MongoDB招投标数据库,并结合Ollama部署的DeepSeek-R1-8B模型来制作招投标垂直领域模型
  • Git(分布式版本控制系统)系统学习笔记【并利用腾讯云的CODING和Windows上的Git工具来实操】
  • 7.list
  • Kotlin协程详解——协程取消与超时
  • 博主卖DeepSeek相关课程1天收入50000元
  • 鸿蒙北向开发OpenHarmony4.1 DevEco Studio开发工具安装与配置
  • python学习过程中,Scrapy爬虫和requests库哪个更适合新手?
  • 在 MySQL 8 中配置主从同步(主从复制)是一个常见的需求,用于实现数据的冗余备份、读写分离等。
  • 前端知识速记--JS篇:柯里化