当前位置： 首页 > article >正文

accelerate 分布式框架

article 2024/11/15 15:42:45
  1. 该框架包括 : DeepSpeed(三阶段：P_{os}+P_{os+g}+P_{os+g+p}),  FSDP, Megatron_LM
  2. 其中，Megatron_LM 集成了 TP（张量并行）、PP(流水线并行)、SP(序列并行)以及DP(数据并行)

http://www.kler.cn/a/318889.html

相关文章：

  • 网络基础Linux
  • 【数据价值化】国有企业数据资产入表及估值实践指南：挖掘数字资产新价值
  • leetcode-位运算题型
  • 《Django 5 By Example》阅读笔记：p76-p104
  • 算法——长度最小的子数组（leetcode209）
  • 闯关leetcode——3178. Find the Child Who Has the Ball After K Seconds
  • C语言特殊字符串函数和字符函数
  • 从零开始学习Python
  • QT中各数据基础类型互转方式有哪些？
  • 面经宝典【1】-拼多多
  • [51单片机] 简单介绍 (一)
  • Vue ElemetUI table的行实现按住上下键高亮上下移动效果
  • Ansible部署openstack案例
  • MySQL表的增删改查
  • 如何修改音频的音量增益
  • 【算法】算法思想合集
  • Make breakpoint pending on future shared library load
  • mfc140u.dll引发的软件故障怎么破?mfc140u.dll文件损坏的解决办法全知道!
  • Linux 简易shell编写
  • C# winforms 使用菜单和右键菜单
  • 游戏开发2025年最新版——八股文面试题（unity,虚幻,cocos都适用）
  • 《数据压缩入门》笔记-Part 1
  • AlDente Pro for Mac电池健康保护工具
  • Centos下安装Maven（无坑版）
  • qt相关面试题
  • 实时美颜的技术突破：视频美颜SDK与直播美颜工具的开发详解