Centos7系统基于docker下载ollama部署Deepseek-r1(GPU版不踩坑)
目录
一、Docker下载安装
二、Ollama安装
三、部署Deepseek-R1
一、Docker下载安装
1、更新源
sudo yum update -y
2、下载依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2
3、添加docker远程仓库地址
yum-config-manager --add-repo http://download.docker.com/linux/centos/docker-ce.repo(中央仓库)
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo(阿里仓库)
4、下载安装docker
sudo yum install docker-ce
5、启动docker,并设置开机自启动
sudo systemctl start docker
sudo systemctl enable docker
下面的docker的一些其他设置,不需要的可忽略:
1、GPU版NVIDIA Container Toolkit(CPU忽略)
#添加仓库
sudo yum-config-manager --add-repo https://nvidia.github.io/nvidia-docker/centos7/nvidia-docker.repo
#下载
sudo yum install -y nvidia-docker2
会自动下载一些容器
同时会自动创建一个docker的配置文件/etc/docker/daemon.json,其内容为:
{
"runtimes": {
"nvidia": {
"path": "nvidia-container-runtime",
"runtimeArgs": []
}
}
}
2、修改docker安装目录(非必要)
因为根目录满了,所以挂载到其他目录下。
# 创建目标目录
mkdir /mnt/llm/soft/docker
# 停止docker服务
sudo systemctl stop docker
# 复制安装目录内容
sudo cp -r /var/lib/docker/* /mnt/llm/soft/docker
# 修改配置文件
vi /etc/docker/daemon.json
# 添加自定义安装路径
"data-root": "/mnt/llm/soft/docker"
二、Ollama安装
1、先为docker添加国内源,这样下载速度更快
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://docker.imgdb.de"
]
2、下载镜像
docker pull ollama/ollama
3、运行ollama
# GPU版
docker run -d --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# CPU版
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
4、进入容器验证
docker exec -it 3e0510ca4aa9 /bin/bash
三、部署Deepseek-R1
1、查看运行容器id
docker ps
2、进入容器内部验证ollama和GPU
# ollama安装验证,查看模型
ollama list
# GPU设置验证
nvidia-smi
3、下载并安装Deepseek-r1
这里利用ollama工具可以下载它兼容的大模型,查看ollama官方模型链接https://ollama.com/search
# 运行deepseek-r1,第一次运行是会自动下载的,默认是7b
ollama run deepseek-r1
# 后缀指定模型大小
ollama run deepseek-r1:70b
至此成功完成部署!