Docker安装GPUStack详细教程

目录

前置条件

 安装Nvidia Container Tooikit

前置条件

• Docker
• Nvidia Container Toolkit

 安装Nvidia Container Tooikit

1.安装必要的包

# 更新系统
sudo apt update && sudo apt upgrade -y

# 安装 CUDA 相关包
sudo apt-get install -y cuda-drivers nvidia-cuda-toolkit

# 安装 NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
      && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
      && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
         sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
         sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

2. 配置 NVIDIA Container Runtime：

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

• 验证 NVIDIA 驱动在 WSL 中是否可用：

  nvidia-smi

• 如果还是有问题，尝试在 Windows PowerShell（管理员）中：

  # 关闭 WSL

  wsl --shutdown

  # 重新启动 WSL

• wsl

让我们尝试使用国内镜像源来解决网络问题：

• 首先删除之前的配置：

  sudo rm -f /etc/apt/sources.list.d/docker.list

  sudo rm -f /etc/apt/keyrings/docker.gpg

• 使用阿里云镜像：

  # 安装必要的包

  sudo apt update

  sudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release

  # 添加 Docker 的 GPG 密钥

  ve-keyring.gpg

  # 添加 Docker 仓curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archi库

  echo \安装 containerd：

  sudo apt install -y containerd.io

    "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu \

    $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

• 更新包列表：

  sudo apt update

如果还是不行，我们可以尝试直接安装 Ubuntu 仓库中的版本：

# 安装 containerd

sudo apt install -y containerd

# 安装 runc

sudo apt install -y runc

然后启动gpustack

docker run -d \
--gpus all \
-p 9999:80 \
-p 10150:10150 \
-p 10151:10151 \
--name gpustack \
-v /mnt/d/gpustack/gpustack-data:/var/lib/gpustack \
-v /mnt/d/gpustack/model:/model \
--restart unless-stopped \
gpustack/gpustac

命令操作 

# 1. 首先进入容器

docker exec -it gpustack bash

# 2. 然后在容器内使用 gpustack 命令

gpustack model deploy \

  --name qwen2.5-0.5b \

  --model-path /model/qwen2.5-0.5b-instruct-fp16.gguf \

  --source local \

  --replicas 1

# 3. 查看模型列表

gpustack model list

# 4. 查看 worker 状态

gpustack worker list