deepseek linux本地化部署

一、环境准备
硬件需求：

最低配置：CPU（支持 AVX2 指令集）+ 16GB 内存 + 30GB 存储。

推荐配置：NVIDIA GPU（RTX 3090 或更高）+ 32GB 内存 + 50GB 存储。

软件依赖：

操作系统：Linux（推荐 Ubuntu 20.04+）。

Python：3.8+。

CUDA：11.7+（需与 PyTorch 版本匹配）。

Docker：如果使用 Open Web UI，需要安装 Docker。

二、安装 Ollama
Ollama 是一个开源工具，用于在本地轻松运行和部署大型语言模型，以下是安装 Ollama 的步骤：

在终端运行以下命令安装 Ollama：

bash 复制

curl -sSfL https://ollama.com/download.sh | sh
安装完成后，通过以下命令验证 Ollama 是否安装成功：

bash 复制

ollama --version
如果输出版本号，则说明安装成功。

三、下载并部署 DeepSeek 模型
选择模型版本：

根据硬件配置选择合适的模型版本，例如入门级的 1.5B 版本，适合初步测试；中端的 7B 或 8B 版本，适合大多数消费级 GPU；高性能的 14B、32B 或 70B 版本，适合高端 GPU。
下载模型：

打开终端，输入以下命令下载并运行 DeepSeek 模型。例如，下载 7B 版本的命令为：

bash 复制

ollama run deepseek-r1:7b
如果需要下载其他版本，可以参考以下命令：

bash 复制

ollama run deepseek-r1:8b  # 8B版本
ollama run deepseek-r1:14b # 14B版本
ollama run deepseek-r1:32b # 32B版本
启动 Ollama 服务：

在终端运行以下命令启动 Ollama 服务：

bash 复制

ollama serve
服务启动后，可以通过访问 http://localhost:11434 来与模型进行交互。

四、使用 Open Web UI（可选）
为了更直观地与 DeepSeek 模型进行交互，可以使用 Open Web UI，以下是安装和使用步骤：

安装 Docker：确保你的机器上已安装 Docker。

运行 Open Web UI：

在终端运行以下命令安装并启动 Open Web UI：

bash 复制

docker run -d -p 3000:8080
  --add-host=host.docker.internal:host-gateway
  -v open-webui:/app/backend/data
  --name open-webui
  --restart always
  ghcr.io/open-webui/open-webui:main
安装完成后，访问 http://localhost:3000，选择 deepseek-r1:latest 模型即可开始使用。

五、其他工具安装（可选）
安装 Chatbox AI：

Chatbox AI 是一个基于对话的 AI 平台，能够实现自然语言交互。访问 Chatbox AI 的官方网站，下载最新版本的安装包。

对于 Linux 系统，下载完成后使用以下命令运行：

bash 复制

sudo ./Chatbox-1.9.5-x86_64.AppImage
打开配置文件 config.json 或者直接打开 UI，根据需要修改参数，例如连接 Ollama 的地址等。进入软件后点击设置，然后选择 ollama 的 api，加载之前下载的模型即可。