使用ngnix进行负载均衡部署deepseek蒸馏版
使用ngnix进行负载均衡部署deepseek蒸馏版
-
- 一、安装及配置nginx
-
- 1.1.安装依赖：
- 1.2. 导入Nginx签名密钥
- 1.3. 添加Nginx软件源
- 1.4. 更新软件包列表并安装Nginx
- 1.5. 启动Nginx服务
- 1.6. 验证安装
- 1.7.修改配置文件，将自己的内容加进去
- 1.8、重新加载Nginx配置：
- 二、模型启动
-
- 2.1、分布启动脚本编写
- 2.2、总脚本编写
- 2.3、启动
- 三、模型调用
- 四、Nginx常用命令
-
- 4.1. 启动Nginx
- 4.2. 停止Nginx
- 4.3. 重启Nginx
- 4.4. 查看Nginx版本
一、安装及配置nginx
1.1.安装依赖：
使用以下命令安装必要的依赖包：
sudo apt install curl gnupg2 ca-certificates lsb-release ubuntu-keyring
1.2. 导入Nginx签名密钥
执行以下命令导入Nginx官方签名密钥，确保软件包的真实性：
curl https://nginx.org/keys/nginx_signing.key | gpg --dearmor | sudo tee /usr/share/keyrings/nginx-archive-keyring.gpg >/dev/null
1.3. 添加Nginx软件源
编辑/etc/apt/sources.list.d/nginx.list文件，添加以下内容：
deb [signed-by=/usr/share/keyrings/nginx-archive-keyring.gpg] https://nginx.org/packages/ubuntu/ $(lsb_release -cs) nginx
1.4. 更新软件包列表并安装Nginx
执行以下命令更新软件包列表并安装Nginx：
sudo apt update
sudo apt install nginx -y
1.5. 启动Nginx服务
启动Nginx并设置为开机自启：
sudo systemctl start nginx
sudo systemctl enable nginx
1.6. 验证安装
在浏览器中访问服务器的IP地址或域名，如http://your_server_ip，看到Nginx欢迎页 面表示安装成功。
1.7.修改配置文件，将自己的内容加进去
vi /etc/nginx/nginx.conf
比如自己的内容如下：
http {
upstream vllm_servers {
server localhost:5010;
server localhost:5011;
server localhost:5012;
server localhost:5013;