在Ubuntu上使用docker compose安装N卡GPU的Ollama服务
在现代计算环境中，利用 GPU 进行计算加速变得越来越重要。下面将讲解如何在Ubuntu上使用docker compose安装N卡GPU的Ollama服务。
1、安装 NVIDIA 容器工具
首先，需要确保你的系统已经安装了 NVIDIA 容器工具 nvidia-container-toolkit。这是让 Docker 容器访问 GPU 的关键步骤。
参照下面这个博客文章安装即可：
Ubuntu安装nvidia-docker并使用的正确方式_ubuntu24.04安装nvidia-docker2-CSDN博客文章浏览阅读1.4k次，点赞18次，收藏24次。ubuntu下自带了docker的库，不需要添加新的源。但是ubuntu自带的docker版本太低，需要先卸载旧的再安装新的。docker.io/nvidia/cuda 项目中国可用镜像列表 | 高速可靠的 Docker 镜像资源镜像列表。ubuntu(24.04)以及WSL2安装docker的详细教程_unbantu安装docker-CSDN博客。docker.io/nvidia/cuda 项目中国可用镜像列表 | 高速可靠的 Docker 镜像资源。_ubuntu24.04安装nvidia-docker2ht