Ubuntu环境通过Ollama部署DeepSeek-R1模型教程
Ollama 是一个专注于简化模型部署和推理的工具,特别适合在生产环境中快速部署和运行模型。
以下是如何使用 Ollama 来安装、部署和使用模型的步骤:
一. 安装 Ollama
首先,你需要安装 Ollama。Ollama 通常支持多种平台(如 Linux、macOS 和 Windows)。你可以通过以下方式安装:
在 Linux 或 macOS 上安装:
curl -fsSL https://ollama.ai/install.sh | sh
上面命令会下载ollama并自动启动,但是如果系统不支持systemd,会出现下面的异常,需要手动重启。
手动启动ollama命令,执行下面命令前,需要确定ollama是否已经启动,要不会端口冲突。
ollama serve &
二. 下载模型并启动
Ollama 支持从模型仓库中直接下载预训练模型。你可以通过以下命令下载:
选择一个自己使用的版本就行,以下是不同步版本的下载并启动命令:
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b
安装成功和体验
四. 检查 Ollama 日志
查看 Ollama 的日志文件
查看日志:
-
日志文件通常位于
~/.ollama/logs/
或/var/log/ollama.log
。 -
运行以下命令查看日志:
tail -f ~/.ollama/logs/server.log
-
根据日志中的错误信息进一步排查问题。
5. 重新安装 Ollama
如果服务无法启动,可能是安装过程中出现了问题。可以尝试重新安装 Ollama。
卸载 Ollama:
sudo rm -rf /usr/local/bin/ollama
sudo rm -rf ~/.ollama
重新安装:
curl -fsSL https://ollama.ai/install.sh | sh
总结
使用 Ollama 可以大大简化模型的部署和推理过程,特别适合在生产环境中快速集成和运行模型。
六. 问题
1、-bash: curl: command not found
sudo apt update
sudo apt install curl
2、-bash: sudo: command not found
apt update
apt install sudo
3、Error: could not connect to ollama app, is it running?
这个错误提示表明 Ollama 服务没有启动
ollama serve
4、Error: listen tcp 127.0.0.1:11434: bind: address already in use
查看端口冲突的进程
sudo lsof -i :11434
然后kill掉进程
kill -9 1234
5、sudo: lsof: command not found
sudo apt update
sudo apt install lsof