NVIDIA Hopper 架构深入

文章目录

• 前言
• 一、NVIDIA H100 Tensor Core GPU 简介
• 二、NVIDIA H100 GPU 主要功能概述
• • 1. 新的流式多处理器 （SM） 具有许多性能和效率改进。
  • • 主要新功能包括：
  • 2. 新的 transformer 引擎结合使用软件和定制的 NVIDIA Hopper Tensor Core 技术，该技术专为加速 transformer 模型训练和推理而设计。
  • 3. HBM3 内存子系统的带宽比上一代增加了近 2 倍。
  • 4. 50 MB L2 缓存架构可缓存大部分模型和数据集以供重复访问，从而减少对 HBM3 的迁移。
  • 5. 与 A100 相比，第二代多实例 GPU （MIG） 技术为每个 GPU 实例提供大约 3 倍的计算容量和近 2 倍的内存带宽。
  • 6. 新的机密计算支持可保护用户数据，抵御硬件和软件攻击，并在虚拟化和 MIG 环境中更好地隔离和保护虚拟机 （VM）。
  • 7. 与上一代 NVLink 相比，第四代 NVIDIA NVLink 的全缩减操作带宽增加了 3 倍，一般带宽增加了 50%，总带宽为 900 GB/秒，适用于以 PCIe Gen 7 带宽运行的多 GPU IO。
  • 8. 第三代 NVSwitch 技术包括驻留在节点内部和外部的交换机，用于连接服务器、集群和数据中心环境中的多个 GPU。
  • 9. 新的 NVLink 交换机系统互连技术和基于第三代 NVSwitch 技术的新型二级 NVLink 交换机引入了地址空间隔离和保护，使多达 32 个节点或 256 个 GPU 能够通过 NVLink 以 2：1 锥形胖树拓扑进行连接。
  • 10. PCIe Gen 5 提供 128 GB/秒的总带宽（每个方向 64 GB/秒），而第 4 代 PCIe 的总带宽为 64 GB/秒（每个方向 32 GB/秒）。
• 三、NVIDIA H100 GPU 架构深入
• • 1. 基于全新 NVIDIA Hopper GPU 架构的 NVIDIA H100 GPU 具有多项创新：
  • 2. 许多其他新的架构功能使许多应用程序能够实现高达 3 倍的性能提升。
  • 3. NVIDIA H100 是第一款真正的异步 GPU。
  • 4. 现在只需要少量的 CUDA 线程就可以使用新的 Tensor Memory Accelerator 来管理 H100 的全部内存带宽，而大多数其他 CUDA 线程可以专注于通用计算，例如新一代 Tensor Core 的预处理和后处理数据。
  • 5. H100 通过一个称为线程块集群的新级别来扩展 CUDA 线程组层次结构。
  • 6. 编排越来越多的片上加速器和各种通用线程组需要同步。
  • 7. NVIDIA 异步事务屏障使集群内的通用 CUDA 线程和片上加速器能够高效同步，即使它们位于不同的 SM 上。
  • 8. 为 H100 GPU 提供动力的完整 GH100 GPU 采用为 NVIDIA 定制的台积电 4N 工艺制造，具有 800 亿个晶体管、814 mm2 的芯片尺寸和更高频率的设计。
  • 9. NVIDIA GH100 GPU 由多个 GPU 处理集群 （GPC）、纹理处理集群 （TPC）、流式多处理器 （SM）、L2 缓存和 HBM3 内存控制器组成。
  • 10. GH100 GPU 的完整实施包括以下单元：
  • 11. 采用 SXM5 板型的 NVIDIA H100 GPU 包括以下单元：
  • 12. 采用 PCIe Gen 5 主板外形的 NVIDIA H100 GPU 包括以下单元：
  • 13. 与基于台积电 7nm N7 工艺的上一代 GA100 GPU 相比，使用台积电 4N 制造工艺使 H100 能够提高 GPU 内核频率，提高每瓦性能，并包含更多的 GPC、TPC 和 SM。
• 四、H100 SM architecture H100 SM 架构
• • 1. H100 SM 基于 NVIDIA A100 Tensor Core GPU SM 架构构建，由于引入了 FP8，H100 SM 的每 SM 浮点计算能力是 A100 峰值的四倍，并且在所有以前的 Tensor Core 、 FP32 和 FP64 数据类型上，A100 原始 SM 计算能力是时钟对时钟的两倍。
  • 2. 与上一代 A100 相比，新的 Transformer 引擎与 NVIDIA Hopper FP8 Tensor Core 相结合，在大型语言模型上提供高达 9 倍的 AI 训练速度和 30 倍的 AI 推理速度。
  • 3. 新的 NVIDIA Hopper 第四代 Tensor Core、Tensor Memory Accelerator 以及许多其他新的 SM 和通用 H100 架构改进共同在许多其他情况下将 HPC 和 AI 性能提高了 3 倍。
• 五、H100 SM 主要功能摘要
• • 1. 第四代 Tensor 核心：
  • 2. 新的 DPX 指令将动态编程算法的速度比 A100 GPU 快 7 倍。
  • 3. 与 A100 相比，IEEE FP64 和 FP32 的芯片到芯片处理速率提高了 3 倍，因为每个 SM 的时钟对时钟性能提高了 2 倍，此外还有额外的 SM 数量和更高的 H100 时钟。
  • 4. 256 KB 的组合共享内存和 L1 数据缓存，比 A100 大 1.33 倍。
  • 5. 新的异步执行功能包括一个新的 Tensor Memory Accelerator （TMA） 单元，它可以在全局内存和共享内存之间高效传输大型数据块。
  • 6. 新的线程块集群功能公开了跨多个 SM 的局部性控制。
  • 7. 分布式共享内存支持跨多个 SM 共享内存模块的加载、存储和原子的直接 SM 到 SM 通信
• 六、H100 Tensor Core 架构
• • 1.Tensor Core 是专门用于矩阵乘法和累加 （MMA） 数学运算的高性能计算核心，可为 AI 和 HPC 应用程序提供突破性的性能。
  • 2. Tensor Core 首先在 NVIDIA V100 GPU 中引入，并在每一代新的 NVIDIA GPU 架构中进一步增强。
  • 3. 与 A100 相比，H100 中新的第四代 Tensor Core 架构为每个 SM 提供两倍的原始密集和稀疏矩阵数学吞吐量（时钟对时钟），考虑到 H100 比 A100 更高的 GPU Boost 时钟，甚至更高。
• 七、NVIDIA Hopper FP8 数据格式
• • 1. H100 GPU 增加了 FP8 Tensor Core，以加速 AI 训练和推理。
• 八、用于加速动态编程的新 DPX 指令
• 九、H100 计算性能摘要
• 十、H100 GPU 层次结构和异步改进
• 十一、Thread block clusters 线程块集群
• 十二、分布式共享内存
• 十三、Asynchronous execution 异步执行
• 十四、Tensor 内存加速器
• 十五、Tensor 内存加速器
• 十六、异步事务屏障
• 十七、H100 HBM 和 L2 高速缓存架构
• 十八、H100 HBM3 和 HBM2e DRAM 子系统
• 十九、H100 L2 cache H100 L2 缓存