当前位置： 首页 > article >正文

【NLP高频面题 - 分布式训练篇】ZeRO主要为了解决什么问题？

article 2025/1/7 17:50:06

【NLP高频面题 - 分布式训练篇】ZeRO主要为了解决什么问题？

重要性：★★

零冗余优化器技术由 DeepSpeed 代码库提出，主要用于解决数据并行中的模型冗余问题，即每张 GPU 均需要复制一份模型参数。

ZeRO的全称是Zero Redundancy Optimizer，意为去除冗余的优化器。在之前的分布式训练中，我们了解到训练模型时，主要占用的参数主要分为了三个部分：模型参数（Parameters），优化器状态（Optimizer States），梯度(Gradients)，他们三个简称为OPG。其中优化器状态会占据大约2倍参数量的显存空间，这取决于选择的优化器，也是整个训练中占据最大空间的部分。

ZeRO被分为了三个级别：

  1. ZeRO1：对优化器状态进行拆分。显存消耗减少 4 倍，通信量与数据并行相同。
  2. ZeRO2：在ZeRO1的基础上，对梯度进行拆分。显存消耗减少 8 倍，通信量与数据并行相同。
  3. ZeRO3：在ZeRO2的基础上，对模型参数进行拆分。模型占用的显存被平均分配到每个 GPU 中，显存消耗量与数据并行的并行度成线性反比关系，但通信量会有些许增加。

论文中给出了三个阶段的显存消耗分布情况：

NLP 大模型高频面题汇总

NLP基础篇
BERT 模型面
LLMs 微调面

http://www.kler.cn/a/468626.html

相关文章：

  • 衡量算法效率的方法：时间复杂度、空间复杂度
  • 网络协议安全的攻击手法
  • JavaScript语言的字符串处理
  • 数据分析思维（七）：分析方法——群组分析方法
  • 力扣--34.在排序数组中查找元素的第一个和最后一个位置
  • Kotlin 委托
  • CSS——10.类选择器
  • 【Go学习】-01-6-数据库泛型新特性
  • 如何处理外在关系以及内在关系，思维冲突和纠结
  • 挑战20天刷完leecode100
  • C语言程序设计（第5版）习题解答-第4章
  • stm32HAL库使LED闪烁
  • ArcGIS中怎么把数据提取到指定范围(裁剪、掩膜提取)
  • RabbitMQ-基本使用
  • ChatGPT 主流模型GPT-4/GPT-4o mini的参数规模是多大？
  • 学习扩散模型的完整指南（前提知识、DDPM、稳定扩散、DreamBooth等）
  • php有两个数组map比较 通过id关联，number可能数量变化 比较他们之间增加修改删除
  • 【机器学习:二、线性回归模型】
  • 前端（API）学习笔记（CLASS 4）：进阶
  • Unity3D 如何做好项目性能优化详解
  • 面试题 2024/12 28 29
  • 微服务组件——利用SpringCloudGateway网关实现统一拦截服务请求，避免绕过网关请求服务
  • Python入门教程 —— 面向对象进阶
  • Go语言的 的反射（Reflection）基础知识
  • 基于伪分布式模式部署Hadoop集群
  • 开源模型迎来颠覆性突破：DeepSeek-V3与Qwen2.5如何重塑AI格局？