ubuntu24安装xinference

一、单机部署 Xinference

1. 拉取 Xinference 镜像

docker pull xprobe/xinference:latest

二、 启动容器（根据硬件选择命令）

仅 CPU 模式：
  docker run -d -p 9998:9998 --name xinference xprobe/xinference:latest
启用 GPU 加速（需 NVIDIA 驱动）：
  docker run -d --gpus all -p 9998:9998 --name xinference xprobe/xinference:latest

三、如果报错could not select device driver ““ with capabilities: [[gpu]]
解决方法
既然通过–gpus参数调用宿主机GPU失败，那就重新安装一个英伟达的容器工具包
安装和配置NVIDIA Container Toolkit步骤：
NVIDIA容器工具包不能直接通过apt install命令安装，因此需要先执行如下命令添加英伟达的apt软件源

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \

从存储库更新包列表：

sudo apt-get update

安装 NVIDIA Container Toolkit 软件包：

sudo apt-get install -y nvidia-container-toolkit

重启docker服务

sudo systemctl restart docker

四、启动服务

docker run -e XINFERENCE_MODEL_SRC=modelscope -p 9998:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0 --log-level debug