当前位置： 首页 > article >正文

Linux部署DeepSeek r1 模型训练

article 2025/2/13 23:57:24

之前写过一篇windows下部署deepseekR1的文章，有小伙伴反馈提供一篇linux下部署DeepSeek r1 模型训练教程，在 Linux 环境下，我找了足够的相关资料，花费了一些时间，我成功部署了 DeepSeek R1 模型训练任务，结合了 Ollama、DeepSeekR1 和 RAGFlow 三大工具，实现了高效的模型训练与推理。

小贴士：AI学习资料pdf文档下载 点击下载AI学习资料

一、安装ollama ⼯具

介绍

Ollama是一个开源软件，主要用于在本地电脑设备上下载、部署和使用大模型（LLM）。它提供了丰富的LLM库，如llama、qwen、mistral以及DeepSeek R1等，并且支持不同参数规模的模型，以适配不同性能的电脑设备‌。Ollama虽然支持直接使用LLM，但仅能在命令行中进行对话，交互功能有限，因此需要配合其他工具使用‌。通俗理解为用于方便本地部署大模型使用的工具，实现离线使用和数据得到安全保护。

安装

# curl下载ollama⼆进制⽂件
$ sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ol
lama
$ sudo chmod +x /usr/bin/ollama
# github下载：https://github.com/ollama/ollama/
$ tar -zxvf ollama-linux-amd64.tgz -C /usr
$ ollama --help
$ ollama --version

在这里插入图片描述
在这里插入图片描述
或者直接下载脚本安装

$ curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述

在Service中增加下⾯两⾏

$ vi /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

然后重启ollama服务

$ systemctl daemon-reload
$ systemctl restart ollama
验证服务是否开启，11434是核⼼端⼝，必须开启。
netstat -nultp |grep 11434

在这里插入图片描述
输入自己本地电脑的IP+11434端口访问
在这里插入图片描述
第⼆步：将Ollama添加为启动服务

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

写⼀个启动脚本

$ sudo vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
[Install]
WantedBy=default.target

$ chmod +x /etc/systemd/system/ollama.service

ollama.service配置⽂件中注意事项：
ollama默认只⽀持localhost访问，如果想要开放外⽹访问，可以在[service]下⾯添加⼀个环境变量

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

默认情况下，通过ollama部署的⼤模型是阻塞的，为了提⾼⼤模型的并发性，
可以通过添加OLLAMA_NUM_PARALLEL来配置同时并发的数量

[Service]
Environment="OLLAMA_NUM_PARALLEL=4"

4表示同时运⾏4个并发线程数,默认情况下，ollama会默认保持5分钟的活跃状态，超过五分钟没有操作，
服务会⾃动退出，为了避免在调⽤⼤模型服务时的冷启动，可以通过环境变量
OLLAMA_KEEP_ALIVE来设置活跃状态的时间

[Service]
Environment="OLLAMA_KEEP_ALIVE=-1"
# -1表示⼀直处于连接状态。

第四步：启动服务

$ sudo systemctl daemon-reload
$ sudo systemctl enable ollama

注意：每次修改配置⽂件后，需要关停ollama服务，重启后才⽣效.
关停命令

$ sudo systemctl stop ollama

启动：

 $ sudo systemctl start ollama

安装 deepseek R1

# deepseek 版本信息查看此地址 https://ollama.com/library/deepseek-r1
$ ollama run deepseek-r1:14b

在这里插入图片描述

二、部署⼀个客户端⼯具

下面客户端选择任意一个客户端安装

安装配置 Cherry Studio

介绍

Cherry Studio 是一个用于创建和部署桌面应用程序的开发框架，特别适用于开发跨平台应用。它通过提供简洁易用的工具和可视化界面，使开发者能够以较少的代码量快速构建具有高性能和美观界面的应用程序。Cherry Studio 结合了强大的图形界面设计功能和模块化架构，允许开发者灵活地定制界面布局和交互逻辑。

该框架支持多种主流操作系统，如 Windows、macOS 和 Linux，使得开发者能够创建具有广泛兼容性的桌面应用。此外，Cherry Studio 提供了丰富的插件和扩展功能，支持自定义组件、第三方库的集成，以及与后端服务的连接。其目标是简化开发流程，提升应用开发的效率，尤其适合那些希望快速构建用户友好的桌面应用的开发者。通过 Cherry Studio，开发者能够更轻松地专注于应用逻辑的实现，而无需过多关心平台兼容性和底层细节。

安装

下载linux 安装包 下载官⽹：https://cherry-ai.com/
在这里插入图片描述
双击exe文件安装完成，从设置⾥⾯找到模型服务， ollama 的模型为 deepseek-r1
在这里插入图片描述
设置默认模型
在这里插入图片描述
打开一个聊天窗口进行测试
在这里插入图片描述

安装配置chatbox 客户端

介绍

Chatbox 是一种基于聊天界面的应用程序或工具，旨在通过自动化的方式与用户进行互动，通常用于客户支持、信息查询或作为智能助手。它可以通过文本、语音或其他多种形式与用户进行交流。Chatbox 通常结合自然语言处理（NLP）技术，使得它能够理解和生成自然语言，从而提供智能响应。现代的聊天框架如 ChatGPT 或 Dialogflow 使得 Chatbox 更加灵活和强大，可以实现复杂的对话流程和多轮对话。

Chatbox 的应用场景非常广泛，涵盖了电子商务、在线教育、客户服务、健康咨询等领域。它能够提供即时响应，帮助企业提升客户体验并减少人工客服压力。同时，Chatbox 也能通过不断学习和优化，逐步提高对话质量，提供更贴近用户需求的服务。随着技术的进步，Chatbox 正变得越来越智能，能够处理更为复杂的问题，并在多个平台上无缝集成，满足不同用户的需求。

安装

下载linux chatbox安装包⽂件，地址： https://chatboxai.app/zh
在这里插入图片描述
配置ollama 模型地址，本机电脑IP+11434端口，选择deepseek你的模型
在这里插入图片描述
新建对话，按照图中的配置选择模型
在这里插入图片描述
保存就可以测试对话了
在这里插入图片描述

安装配置Open-WebUI

介绍

Open-WebUI 是一个开源项目，旨在提供一个易于使用、可定制的Web界面，用于与各种AI和机器学习模型进行交互。该项目的目标是让用户能够通过直观的图形界面，轻松管理和运行复杂的机器学习任务，而无需深入编写代码。Open-WebUI 支持多个主流的AI模型，包括文本生成、图像生成、翻译、语音识别等，允许用户通过简单的操作配置和调用这些模型。

其特点包括高度的可扩展性，支持插件化架构，可以根据需求扩展新功能；界面简洁且响应式，适应不同设备的屏幕；并且提供了集成的日志系统和任务管理工具，帮助用户更好地监控和管理后台运行的模型任务。通过 Open-WebUI，开发者和研究人员可以快速搭建自己的AI应用，提升开发效率并降低入门门槛。该项目的开源性质也促进了社区的活跃参与，使其能够不断得到改进和优化。

安装

使⽤docker ⽅式安装客户端⼯具

$ docker pull ghcr.mirrorify.net/open-webui/open-webui:main
$ docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://10.1.192.54:11434 --privileged=true -v open-webui:/app/backend/data --name open-webui --restart always ghcr.mirrorify.net/open-webui/open-webui:main

在这里插入图片描述
打开open-webui界面，自己电脑的ip地址+3000端口
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
首次打开需要注册登录，按提示注册就好，然后登录进去开始对话

在这里插入图片描述

三、RAGFlow的安装和部署

介绍

RAGFlow 是一个开源的框架，旨在简化和优化信息检索与生成的工作流程。它基于检索增强生成（RAG，Retrieval-Augmented Generation）的思想，将信息检索与文本生成结合起来，以提高生成模型的准确性和效率。RAGFlow 通过引入外部数据源（如知识库或文档库），在生成过程中动态地获取相关信息，弥补传统生成模型仅依赖训练数据的局限性。

该框架的核心优势在于它的灵活性与扩展性，可以与现有的语言模型（如 GPT、BERT 等）结合使用，支持多种自定义配置与优化策略，适应不同的业务需求。RAGFlow 的设计理念是简化复杂的工作流程，让开发者能够高效构建基于检索增强生成的应用场景，如问答系统、内容生成、数据分析等。它的开放性和模块化架构使得其在不同领域的适用性更强。

安装

部署的环境前置条件
CPU >= 4 核
内存 >= 16 GB
硬盘 >= 50 GB
Docker版本 >= 24.0.0 & Docker Compose >= v2.26.1

1.安装

# 克隆仓库
$ git clone https://github.com/infiniflow/ragflow.git
$ cd ragflow-main/docker/

# 如果你遇到 Docker 镜像拉不下来的问题，可以在 #docker/.env ⽂件内根据变量
# RAGFLOW_IMAGE 的注释提示选择华为云或者阿⾥云的相应镜像。
# 华为云镜像名：swr.cn-north-4.myhuaweicloud.com/infiniflow/ragflow
# 阿⾥云镜像名：registry.cn-hangzhou.aliyuncs.com/infiniflow/ragflow
$ vim .env

RAGFLOW_IMAGE=registry.cn-hangzhou.aliyuncs.com/infiniflow/ragflow:v0.16.0

# 构建：
$ docker compose -f docker-compose.yml up -d

在这里插入图片描述

在这里插入图片描述

查看容器服务运行状态

$ docker ps -a

在这里插入图片描述

查看服务日志

docker logs -f ragflow-server

在这里插入图片描述

访问RAGFlow界面，http://本地电脑ip

我这里地址是：http://192.168.2.36
在这里插入图片描述

注册一个账号，按照提示操作即可
在这里插入图片描述

添加自己的deepseek模型(自己电脑ip+11434端口)

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

设置系统模型

在这里插入图片描述
新建知识库
在这里插入图片描述
新增文件，代表数据源，对数据进行训练，提供AI使用
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
点击解析一下，进行解析文件里面的内容数据，让AI学习
在这里插入图片描述
解析成功
在这里插入图片描述
在这里插入图片描述
点击聊天功能—》新建助理
在这里插入图片描述
在这里插入图片描述
根据文档存在的内容提问，你会发现AI会根据你上传文档的数据，给出你要的答案。
在这里插入图片描述


http://www.kler.cn/a/544139.html

相关文章：

  • elementuiPlus日期范围选择el-date-picker动态禁用时间选择
  • 策略模式-小结
  • CEF132 编译指南 MacOS 篇 - depot_tools 安装与配置 (四)
  • 游戏引擎学习第100天
  • 从肠道菌群到炎症因子：读懂疾病的预警信号
  • 办公用品管理系统需求说明
  • 开启AI绘画的魔法大门！探索Stable Diffusion的无限魅力~
  • k8s之亲和性和反亲和性
  • 【ISO 14229-1:2023 UDS诊断全量测试用例清单系列：第一节】
  • UNITY计算fps时应忽略掉time.timescale的影响
  • [Linux][问题处理]修改密码报You must wait longer to change your password
  • 人生的转折点反而迷失了方向
  • 游戏内常见加密
  • Unity 卡死排查方法（游戏死循环、打包卡死）
  • python+unity落地方案实现AI 换脸融合
  • Spring 项目接入 DeepSeek，分享两种超简单的方式!
  • HTML之JavaScript函数声明
  • 【AI学习】DeepSeek-R1-Distill的意义和影响
  • MYSQL 索引 index
  • 求助帖: stm32通过 flash实现boot和app之间的api共享
  • 稀疏计算的软硬件协同：FPGA有力推动硬件发展
  • 一文详解机器视觉环形光源，视觉检测中的环形光源应用
  • 2025年智慧化工园区整体解决方案-下载：安全生产管控，全生命周期数字管理架构
  • Science Advances 基于折纸工艺利用可降解纤维素薄膜开发了一种可持续性闭环控制机器人系统
  • 机器学习 - 理解偏差-方差分解
  • QT 异步编程之多线程