当前位置： 首页 > article >正文

通信方式、点对点通信、集合通信

article 2025/2/4 20:24:04

文章目录

    • 从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理！
    • 通信实现方式：机器内通信、机器间通信
    • 通信实现方式：通讯协调
    • 通信实现方式：机器内通信：PCIe
    • 通信实现方式：机器内通信：NVLink
    • 通信实现方式：机器间通信：RDMA（直连模式）
    • 通信协调：软件篇
    • 通信协调：软件篇：MPI
    • MPI：集合通信
    • MPI：进程启动与收发数据顺序：broadcast
    • MPI：进程启动与收发数据顺序：gather
    • 通信协调：软件篇：NCCL
    • 点对点通信、集合式通信
    • 分布式训练系统
    • 集中式通信方式：一对多 broadcast
    • 集中式通信方式：一对多 scatter
    • 集中式通信方式：多对一 reduce
    • 集中式通信方式：多对一 gather
    • 集中式通信方式：多对多 all reduce（用的特别多）
    • 集中式通信方式：多对多 all reduce 的两种实现方式
    • 集中式通信方式：多对多 all reduce = reduce + broadcast （聚合到一张卡）
    • 集中式通信方式：多对多 all reduce = reduce-scatter + all-gather
    • 集中式通信方式：多对多 all gather
    • 集中式通信方式：多对多 reduce scatter
    • 集中式通信方式：多对多 all to all

从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理！

通信实现方式：机器内通信、机器间通信

计算机通网络通讯中最重要的两个衡量指标是：带宽、延迟

在这里插入图片描述

内存共享：比如 多个应用共享手机里面的同一块内存
PCIe：最明显的方式就是 gpu 与 cpu 之间的通信，大部分都通过之间的PCIe插槽进行的
NVLink（直连模式）：GPU 与 GPU 之间进行一个互通

在这里插入图片描述
Q：不同机柜之间的GPU的访问，不是通过NVSwitch进行全互联的吗。那这个机器间的通信，都传输什么信息呢？通讯、互传数据、等待和同步相关的问题，这些信息是走什么传输的呢？
---- 如果是NVLink通信的话，它应该还是属于 机器内通信，而不是机器间通讯（TCP/IP、RDMA）

蓝色的线：通过网线进行连接
AI集群里面，可能更多的用到 RDMA 的网络模型通信

通信实现方式：通讯协调

在这里插入图片描述

通信实现方式：机器内通信：PCIe

在这里插入图片描述

通信实现方式：机器内通信：NVLink

在这里插入图片描述

通信实现方式：机器间通信：RDMA（直连模式）

在这里插入图片描述
在这里插入图片描述
（1）左边的图是TCP/IP，右边的是RDMA
（2）左边的几个蓝色方框，在传递的时候 需要经过好几次的用户的内存拷贝，对大数据执行起来会非常的缓慢，数据量越大的时候，这个延迟是很难去接受的！
（3）而RDMA新的协议，就是用户直接跳过kernel层，直接传到远端的服务器，数据绕过CPU，直接通过RDMA设备，对远端的虚拟内存直接进行访问读和写；

（4）既然是机器间通信，那么不同机器间是通过以太网连接的
（5）Q：RDMA是通过网线连接的吗？
在这里插入图片描述

通信协调：软件篇

在这里插入图片描述

通信协调：软件篇：MPI

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
OSI只是一个模型概念，并不提供具体的实现方法。实际上的网络的标准是TCP/IP

在这里插入图片描述
在这里插入图片描述

MPI：集合通信

在这里插入图片描述

在这里插入图片描述

MPI：进程启动与收发数据顺序：broadcast

在这里插入图片描述

MPI：进程启动与收发数据顺序：gather

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
优化通信框架的性能，那不就是用到了之前学习到的 二叉树的结构了

在这里插入图片描述
在这里插入图片描述

通信协调：软件篇：NCCL

在这里插入图片描述
（1）对网络拓扑进行一个感知，topo是长什么样子的，回环是怎么组织的
（2）对网络拓扑进行一个搜索，找到一个最好的通信的策略
（3）使能CUDA的kernel 对数据进行通信

在这里插入图片描述

点对点通信、集合式通信

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

分布式训练系统

在这里插入图片描述
在这里插入图片描述
对模型进行切分，每个服务器又需要相互通信，把一个大的网络模型切分成很多小的网络模型，每个小的网络模型之间是相互依赖的，需要就需要跨节点对数据进行同步
涉及到同步，中间的过程就需要通信，跨节点的通信，跨网络的通信，跨卡的通信；

集中式通信方式：一对多 broadcast

（1）把 NPU0 的数据同步到其他 3 份里面
在这里插入图片描述
在这里插入图片描述

集中式通信方式：一对多 scatter

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对一 reduce

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对一 gather

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对多 all reduce（用的特别多）

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对多 all reduce 的两种实现方式

在这里插入图片描述

集中式通信方式：多对多 all reduce = reduce + broadcast （聚合到一张卡）

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对多 all reduce = reduce-scatter + all-gather

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

木桶原理，强同步的！（大模型对AI集群训练的诉求：大带宽、强同步）

集中式通信方式：多对多 all gather

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

集中式通信方式：多对多 reduce scatter

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对多 all to all

在这里插入图片描述
假设每个NPU上面都有一个A的数据，A的数据在计算完之后，希望进行通讯，都变成一块卡的数据，再进行聚类处理

在这里插入图片描述

END


http://www.kler.cn/a/531521.html

相关文章：

  • 算法题（56）：旋转链表
  • 电路研究9.2.8——合宙Air780EP中IP 应用相关命令使用方法研究
  • Vue 3 30天精进之旅：Day 13 - 路由守卫
  • 数据库、数据仓库、数据湖有什么不同
  • 亚博microros小车-原生ubuntu支持系列：20 ROS Robot APP建图
  • 从零开始部署Dify：后端与前端服务完整指南
  • SpringBoot中关于knife4j 中的一些相关注解
  • 鸢尾花书《编程不难》01---基本介绍和Jupyterlab的上手
  • 无人机PX4飞控 | PX4源码添加自定义uORB消息并保存到日志
  • Codeforces Round 1002 (Div. 2)(A-D)
  • FBX SDK的使用：读取Mesh
  • centos stream 9 安装 libstdc++-static静态库
  • 【优先算法】专题——前缀和
  • 洛谷[USACO08DEC] Patting Heads S
  • 详解Linux系统的终端(Terminal)以及分类(各种tty开头的设备文件)
  • 蓝桥杯python基础算法（2-1）——排序
  • PHP Composer：高效依赖管理工具详解
  • 鲸鱼算法 matlab pso
  • Python基础-字符串和编码
  • 8266使用websocket库
  • SpringCloud篇 微服务架构
  • Leetcode 3444. Minimum Increments for Target Multiples in an Array
  • OSCP - Proving Grounds - Roquefort
  • 基于物联网技术的实时数据流可视化研究（论文+源码）
  • 高效接口限流：基于自定义注解与RateLimiter的实践
  • 代码随想录day27