DeepSeek 部署过程中的问题

DeepSeek 部署过程中的问题

Windows 中 利用 ollama 来搭建 deepseek R1-CSDN博客

一、部署扩展：docker 部署 DS

1.1 部署

在上文Windows 中 利用 ollama 来搭建 deepseek R1-CSDN博客中，我们使用Windows直接部署ollama，当然我们也可以使用docker来进行ollama的部署。 hub.docker.com/r/ollama/ollama

Docker安装到入门_deping 覆盖安装docker-CSDN博客

部署命令：

docker run -d --gpus=all -v ollama:/root/.ollama -p 9000:11434 -e OLLAMA_ORIGINS=* --restart always --name ollama ollama/ollama  # 在容器内部运行ollama

docker exec -it ollama ollama run deepseek-r1:7b  # 运行模型

命令运行后：

我们发现，ollama环境已被我们创建。

查看本地能否访问，并且在容器内部是否运行

开始部署大模型

1.2 可视化

我们创建的模型也可以在Chatbox网站进行调用Chatbox，而不是使用 docker 部署 web UI，这样过于浪费系统资源

二、问题

在我们运行deepseek-r1:7b，使用它生成内容时，会发现CPU被严重占用，这里我是使用 wsl 布置的 docker 容器，并且在容器中运行大模型。因此，ollama 其默认并没有使用 GPU 来运行 Deepseek，其是使用 CPU，来运行。

而，GPU 却处于闲置的状态，而我们通过ollama list看到的processor：

同时，结合torch库的检测

我们可以断定，cuda不能运行，我们需要配置cuda

三、GPU 设置

3.1 ollama GPU 的支持情况

ollama-doc/ollama/docs/Ollama 对GPU 支持信息.md at main · qianniucity/ollama-doc · GitHub

3.2 更新 GPU 驱动

首先使用nvidia-smi，查看版本信息。

也可以在控制面板查看版本信息，

如果没有把 NVIDIA 驱动更新到最新版，则需要在：

Download The Official NVIDIA Drivers | NVIDIA

3.3 安装 cuda

下载CUDA Toolkit：CUDA Toolkit 12.8 Downloads | NVIDIA Developer

3.4 下载 cuDNN

CUDA Deep Neural Network (cuDNN) | NVIDIA Developer

选择与 CUDA 版本兼容的 cuDNN 版本进行下载。

• 安装 cuDNN：
  • Windows：解压下载的 cuDNN 文件，将其中的 bin、include 和 lib 文件夹中的文件复制到 CUDA 安装目录对应的文件夹中。
  • Linux：解压下载的 cuDNN 文件，将其中的文件复制到 CUDA 安装目录。

使用nvcc -v查看信息

3.5 配置环境变量

CUDA_SDK_PATH = C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8
CUDA_LIB_PATH = %CUDA_PATH%\lib\x64
CUDA_BIN_PATH = %CUDA_PATH%\bin
CUDA_SDK_BIN_PATH = %CUDA_SDK_PATH%\bin\win64
CUDA_SDK_LIB_PATH = %CUDA_SDK_PATH%\common\lib\x64

环境变量配置完记得重启
而后cmd运行：

cd "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8\extras\demo_suite"

bandwithTest.exe
deviceQuery.exe

第一个运行结果：

第二个运行结果：

配置完后，一定要记得重启。

四、测试

首先，我们使用torch测试：

发现可以检测到cuda的存在

其次，我们运行模型，先部署1.5b的蒸馏模型：

docker exec -it ollama 
ollama run deepseek-r1:1.5b 

# /bye  # 在进入终端聊天界面后，退出界面
ollama ps

可以发现，其GPU是100%占用的

而，我们运行7b的蒸馏模型时：

ollama stop deepseek-r1:1.5b 
ollama run deepseek-r1:7b

# /bye  # 在进入终端聊天界面后，退出界面
ollama ps

发现和原来是一样的，因此我推测，由于7b的模型太大，ollama 会自动调用CPU的资源，GPU没有问题

我们使用nvidia-smi进行GPU资源判断时：

当模型没有被调用时：

当模型被调用时：

发现 CPU 被调用了 82% ，但是 GPU 被调用了，但是调用的不多，虽然才 31%。

这可能是因为 ollama 模型本身的问题：ollama 的速度还不错，但受限于本地硬件配置。在MacBook、PC和边缘设备上运行小型模型时表现良好，不过遇到超大模型就有些力不从心了。

Ollama则是一个轻量级、易上手的框架，让在本地电脑上运行开源大语言模型变得更加简单。VLLM是一款经过优化的推理引擎，在令牌生成速度和内存管理效率上表现出色，是大规模AI应用的理想之选。