当前位置： 首页 > article >正文

reduce-scatter：适合分布式计算；Reduce、LayerNorm和Broadcast算子的执行顺序对计算结果的影响，以及它们对资源消耗的影响

article 2024/11/16 15:27:38

目录

Gather

Scatter

Reduce

reduce-scatter：适合分布式计算

Reduce、LayerNorm和Broadcast算子的执行顺序对计算结果的影响，以及它们对资源消耗的影响

计算结果理论正确性

资源消耗方面

Gather

这个也很好理解，就是把多个进程的数据拼凑在一起。

Scatter

不同于Broadcast， scatter可以将不同数据分发给不同的进程。

Reduce

reduce就是将多个进程中的数据按照指定的映射函数进行运算得到最后的结果存在一个进程中，例如下面两个图中的归约操作都是求和，将4个不同进程的数据归约求和后存在了第一个进程中


http://www.kler.cn/a/395997.html

相关文章：

  • Java21和Java8性能优化详细对比
  • 电子应用产品设计方案-9：全自动智能马桶系统设计方案
  • AI风向标｜算力与通信的完美融合，SRM6690解锁端侧AI的智能密码
  • 生成自签名证书并配置 HTTPS 使用自签名证书
  • 2分钟在阿里云ECS控制台部署个人应用（图文示例）
  • Prometheus面试内容整理-Exporters
  • R门 - rust第一课陈天 -内存知识学习笔记
  • Apache Doris：监控与运维及系统调优
  • 【RabbitMQ】07-业务幂等处理
  • Tomcat NIO 配置实操指南
  • JVM——类加载器、类加载器的分类
  • 【Ubuntu侧边菜单点击没反应】【Ubuntu 20.04】【浏览器、文件夹点击没反应】
  • LabVIEW开发相机与显微镜自动对焦功能
  • 消息中间件分类
  • 《Django 5 By Example》阅读笔记：p17-p53
  • 去中心化存储：Web3数据安全新标准
  • Wireshark中的length栏位
  • YOLO理解
  • 一个C++线程安全的栈数据结构的例子
  • 电子商务系统设计与Spring Boot框架
  • 对话 OpenCV 之父 Gary Bradski：灾难性遗忘和持续学习是尚未解决的两大挑战 | Open AGI Forum
  • cls(c基础)
  • Excel单元格中自适应填充多图
  • SpringCloud核心组件(三)
  • 6547网：青少年软件编程Python等级考试（六级）真题试卷
  • 一键抠图：免费安全的在线图片去除背景工具