Ollama Linux 部署指南

文章来源：Linux 部署文档 -- Ollama 中文文档|Ollama官方文档

安装

要安装 Ollama，请运行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

手动安装

[!注意] 如果要从以前的版本升级，则应使用sudo rm -rf /usr/lib/ollama第一。

下载并解压缩包：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

启动 Ollama：

ollama serve

在另一个终端中，验证 Ollama 是否正在运行：

ollama -v

AMD GPU 安装

如果您有 AMD GPU，还要下载并解压缩其他 ROCm 软件包：

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

ARM64 安装

下载并解压缩特定于 ARM64 的包：

curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz

将 Ollama 添加为启动服务（推荐）

为 Ollama 创建用户和组：

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

在 中创建服务文件/etc/systemd/system/ollama.service:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

然后启动服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama

安装 CUDA 驱动程序（可选）

下载并安装CUDA 的 CUDA 中。

通过运行以下命令验证驱动程序是否已安装，该命令应打印有关 GPU 的详细信息：

nvidia-smi

安装 AMD ROCm 驱动程序（可选）

下载并安装ROCm v6 的。

启动 Ollama

启动 Ollama 并验证它是否正在运行：

sudo systemctl start ollama
sudo systemctl status ollama

[!注意] 虽然 AMD 贡献了amdgpu驱动程序上游到官方 Linux kernel 源，版本较旧，可能不支持所有 ROCm 功能。我们 建议您安装 Linux® Drivers for AMD Radeon™ and Radeon PRO™ Graphics 提供的最新驱动程序，以便为您的 Radeon 提供最佳支持 GPU 的 GPU 中。

定制

要自定义 Ollama 的安装，您可以通过运行以下命令来编辑 systemd 服务文件或环境变量：

sudo systemctl edit ollama

或者，在/etc/systemd/system/ollama.service.d/override.conf:

[Service]
Environment="OLLAMA_DEBUG=1"

更新

通过再次运行安装脚本来更新 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

或者通过重新下载 Ollama：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

安装特定版本

用OLLAMA_VERSION环境变量替换为安装脚本来安装特定版本的 Ollama，包括预发行版。您可以在 releases 页面中找到版本号。

例如：

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

查看日志

要查看作为启动服务运行的 Ollama 的日志，请运行：

journalctl -e -u ollama

卸载

删除 ollama 服务：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

从 bin 目录中删除 ollama 二进制文件（或者/usr/local/bin,/usr/bin或/bin):

sudo rm $(which ollama)

删除下载的模型以及 Ollama 服务用户和组：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

删除已安装的库：

sudo rm -rf /usr/local/lib/ollama

文章来源：Linux 部署文档 -- Ollama 中文文档|Ollama官方文档