当前位置: 首页 > article >正文

Centos7系统基于docker下载ollama部署Deepseek-r1(GPU版不踩坑)

 

目录

一、Docker下载安装

 二、Ollama安装

三、部署Deepseek-R1


一、Docker下载安装

1、更新源

sudo yum update -y

2、下载依赖包

yum install -y yum-utils device-mapper-persistent-data lvm2

3、添加docker远程仓库地址

yum-config-manager --add-repo http://download.docker.com/linux/centos/docker-ce.repo(中央仓库)

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo(阿里仓库)

4、下载安装docker

sudo yum install docker-ce

5、启动docker,并设置开机自启动

sudo systemctl start docker
sudo systemctl enable docker

下面的docker的一些其他设置,不需要的可忽略:

1、GPU版NVIDIA Container Toolkit(CPU忽略)

#添加仓库
sudo yum-config-manager --add-repo https://nvidia.github.io/nvidia-docker/centos7/nvidia-docker.repo
#下载
sudo yum install -y nvidia-docker2

会自动下载一些容器

同时会自动创建一个docker的配置文件/etc/docker/daemon.json,其内容为:

{
  "runtimes": {
    "nvidia": {
      "path": "nvidia-container-runtime",
      "runtimeArgs": []
    }
  }
}

2、修改docker安装目录(非必要)

因为根目录满了,所以挂载到其他目录下。

# 创建目标目录
mkdir /mnt/llm/soft/docker
# 停止docker服务
sudo systemctl stop docker
# 复制安装目录内容
sudo cp -r /var/lib/docker/* /mnt/llm/soft/docker 
# 修改配置文件
vi /etc/docker/daemon.json
# 添加自定义安装路径
"data-root": "/mnt/llm/soft/docker"

 二、Ollama安装

1、先为docker添加国内源,这样下载速度更快

"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://docker.imgdb.de"
]

2、下载镜像

docker pull ollama/ollama

3、运行ollama

# GPU版
docker run -d --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# CPU版
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

 

4、进入容器验证

docker exec -it 3e0510ca4aa9 /bin/bash

 

三、部署Deepseek-R1

1、查看运行容器id

docker ps

 2、进入容器内部验证ollama和GPU

# ollama安装验证,查看模型
ollama list
# GPU设置验证
nvidia-smi

 3、下载并安装Deepseek-r1

这里利用ollama工具可以下载它兼容的大模型,查看ollama官方模型链接https://ollama.com/search

 

# 运行deepseek-r1,第一次运行是会自动下载的,默认是7b
ollama run deepseek-r1
# 后缀指定模型大小
ollama run deepseek-r1:70b

至此成功完成部署!


http://www.kler.cn/a/585812.html

相关文章:

  • plantuml画甘特图gantt
  • SpringBoot中使用AJ-Captcha实现行为验证码(滑动拼图、点选文字)
  • stm32u5
  • std::stack和std::queue
  • iOS OC匹配多个文字修改颜色和字号
  • Language Models are Few-Shot Learners,GPT-3详细讲解
  • 【最后203篇系列】014 AI机器人-2
  • E2PRAM
  • 二叉树的所有路径
  • Python 与 JavaScript 交互及 Web 逆向分析全解析
  • 手机遥控开关技术解析与应用指南
  • C 语言分支与循环:构建程序逻辑的基石
  • 字符串哈希
  • 【硬件测试】基于FPGA的16PSK+帧同步系统开发与硬件片内测试,包含高斯信道,误码统计,可设置SNR
  • 数学建模之数学模型-3:动态规划
  • C# 集合
  • 卷积神经网络(CNN)之 EfficientNet
  • 【RTSP】客户端(三) 音频相关
  • 计算机视觉算法实战——花卉识别(主页有源码)
  • Spring框架详解(IOC容器-上)