当前位置： 首页 > article >正文

vllm-openai多服务器集群部署AI模型

article 2025/3/18 14:06:40

服务器配置是两台ubantu系统电脑，每台电脑安装两张4090-48G显存的显卡，共计192G显存。

服务器1
在这里插入图片描述
服务器2
在这里插入图片描述
准备工作：
1.两台电脑都已经安装了docker
2.两台电脑都已经安装了nvidia驱动

参考vllm官方资料
https://docs.vllm.ai/en/latest/serving/distributed_serving.html#
在这里插入图片描述
1.先下载.sh文件
https://github.com/vllm-project/vllm/blob/main/examples/online_serving/run_cluster.sh

在这里插入图片描述
做主从关联


http://www.kler.cn/a/589837.html

相关文章：

  • 365天之第P10周：Pytorch实现车牌识别
  • [HelloCTF]PHPinclude-labs超详细WP-Level 0
  • 本地部署 RAGFlow - 修改默认端口
  • 【npm ERR! code ERESOLVE npm ERR! ERESOLVE unable to resolve dependency tree】
  • 论文阅读：2023-arxiv Can AI-Generated Text be Reliably Detected?
  • 重构版：JavaScript 的 new 操作符——从“黑箱仪式”到“亲手造物”的认知跃迁
  • 大语言模型入门文献推荐
  • 多模态模型Orpheus，基于病理图像的乳腺癌复发风险智能评估工具｜顶刊解读·25-03-17
  • Oracle 查询表占用空间（表大小）的方法
  • 设计模式-组件协作
  • 问题链的拓扑学重构
  • java 动态赋值写入word模板
  • react实现虚拟列表
  • MYsql—1
  • 【Linux系统】进程地址空间详解
  • GLOW-TTS
  • Yolo v4 (Darknet) Mac M2 安装与运行
  • 前端UnoCSS面试题及参考答案
  • Forward Looking Radar Imaging by Truncated Singular Value Decomposition 论文阅读
  • gitlab将本地项目提交到远程dev分支