如何在云端GPU服务器中部署DeepSeek-R1蒸馏模型（下）

在云端GPU服务器中部署DeepSeek-R1蒸馏模型文章的上篇内容中，我们在本文中介绍了如何配置和安装部署依赖项，在下篇中我们将继续利用Ollama部署DeepSeek，欢迎各位小伙伴们继续关注！

6. 部署Ollama服务器和Ollama Web UI

运行以下命令安装Ollama服务器并验证其可用性：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
curl localhost:11434

在Ollama服务器开启的情况下，运行以下命令从Ollama库中拉取DeepSeek-R1-Distill-Qwen-14B模型：

docker exec -it ollama ollama pull deepseek-r1:14b

最后，设置Ollama Web UI，使用户可以通过Web浏览器与DeepSeek-R1-Distill-Qwen-14B进行交互。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

7. 配置应用程序负载均衡器（ALB）以访问云端部署的DeepSeek-R1

在亚马逊云科技管理控制台，导航到EC2页面，在左侧导航栏选择“负载均衡器”（Load Balancers）。选择“应用负载均衡器”（Application Load Balancer，ALB）作为负载均衡类型，并点击“创建”（Create）。

使用以下规格配置ALB：

• 方案（Scheme）： Internet-facing
• 负载均衡器IP地址类型（Load balancer IP address type）： IPv4
• 网络设置（Network Settings）： 选择默认的VPC设置，并选择与EC2实例部署在相同可用区的选项
• 安全组（Security Groups）： 选择在EC2配置步骤中创建的安全组

创建ALB以访问DeepSeek EC2 (1/5)

在“监听器和路由”（Listeners and Routing）部分，使用默认的HTTP:80设置，并点击“创建目标组”（Create target group）。

创建ALB以访问DeepSeek EC2 (2/5)

指定“实例”（Instances）作为目标类型（Target Type），命名目标组（Target Group）为deepseek-tg，然后点击“下一步”（Next）。

创建ALB以访问DeepSeek EC2 (3/5)

注册deepseek-r1实例作为目标（Target），指定端口3000，然后点击“Include as pending below”，接着点击“创建目标组”（Create Target Group）。

创建ALB以访问DeepSeek EC2 (4/5)

最后返回应用负载均衡器创建页面，选择挂载deepseek-r1目标组（Target Group），然后向下滚动并点击“创建负载均衡器”（Create Load Balancer）。

创建ALB以访问DeepSeek EC2 (5/5)

8. 通过ALB DNS访问Ollama Web UI上的DeepSeek-R-1

在亚马逊云科技管理控制台，导航到EC2页面，在左侧导航栏选择“负载均衡器”（Load Balancers）。选择在前一步中创建的deepseek-alb，并获取其DNS名称。

获取ALB DNS

在浏览器中输入ALB的DNS地址，你将看到一个注册页面：

访问Ollama Web UI

使用自己选择的电子邮件和密码进行注册，即可开始探索托管在亚马逊云科技EC2上的DeepSeek-R1-Distill-Qwen-14B，结合Ollama和Ollama Web UI进行交互！

使用ALB DNS访问DeepSeek-R1:14B

9.结论

DeepSeek-R1和DeepSeek-R1 Distill模型因其强大的推理能力而倍受欢迎。虽然DeepSeek-R1 Distill模型可以在GPU或AI芯片上部署，以获得最佳的低延迟和高吞吐性能，但并非所有使用场景都需要这种性能水平。在某些场景下，将模型托管在CPU上可以获得更优的性价比。要了解如何在EC2上使用CPU部署DeepSeek-R1 Distill模型，大家可以使用Amazon Gravition4芯片进行部署。