【大模型系列篇】DeepSeek开源周，解锁AI黑科技

🔥 Day1：FlashMLA —— GPU推理加速器

• 专为处理长短不一的AI推理请求而生，就像给Hopper GPU装上了智能导航，让数据在芯片上跑出3000GB/s的"磁悬浮"速度。
• ✅ 已支持BF16格式｜580万亿次浮点运算/秒
• FlashMLA GitHub Repo([1])

Flash MLA是一个针对Hopper GPU优化的高效MLA解码内核，专为处理可变长度序列而设计。与传统解码器相比，Flash MLA在处理可变长度序列时，能够显著提高计算效率和速度。这对于自然语言处理、图像识别、语音识别等需要大规模数据处理的应用场景具有重要意义，可以加速模型训练和推理过程，提升AI应用的性能和效率。

🔥 Day2：DeepEP —— 专家模型通信枢纽

• 首个开源的MoE模型通信库，让分布在多个GPU的"AI专家"像坐上了光速传输带，通过NVLink和RDMA实现毫秒级协作。
• ✅ 原生FP8支持｜训练推理双优化
• DeepEP GitHub Repo([2])

DeepEP专为专家混合(MoE)和专家并行(EP)设计的通信库，高效且优化的all-to-all通信，支持 dispatch & combine。节点内和节点间支持NVLink和RDMA，用于训练和推理预填充的高吞吐量内核，用于推理解码的低延迟内核，原生FP8调度支持，灵活的GPU资源控制，实现计算与通信重叠。

🔥 Day3：DeepGEMM —— 矩阵运算新标杆

• 用300行核心代码实现FP8计算革命，在Hopper GPU上飙出1350万亿次/秒的运算速度，比专家手工调优的代码还要快。
• ✅ 支持密集/MoE双模式｜即编即用
• DeepGEMM GitHub Repo([3])

DeepGEMM是一个支持密集型和混合专家(MoE)通用矩阵乘法(GEMM)运算的FP8通用矩阵乘法库，它为V3/R1模型的训练和推理提供支持。

DeepGEMM完全基于NVIDIA的CUDA并行计算平台编写，充分利用了NVIDIA Hopper架构的最新张量核心进行优化。

它采用即时编译(JIT)技术，无需预编译，可在运行时动态编译内核，提高了灵活性和适应性。

🔥 Day4：DualPipe & EPLB —— 并行计算的交响指挥

• DualPipe流水线([4])：像给AI训练装上双向磁悬浮，计算与传输完美错峰。
• EPLB负载均衡器([5])：让每个GPU专家都精准接单，拒绝"忙闲不均"。
• profile-data可视化分析工具([6])：给计算通信做"CT扫描"，病灶一目了然。

DualPipe：一种优化的双向流水线并行算法，旨在优化V3/R1模型训练中的计算和通信重叠。DualPipe专为V3/R1架构设计，通过创新的双向数据流管道，实现计算与通信的高度重叠。相较于传统单向流水线，该技术可显著提升计算吞吐量，尤其适用于千亿至万亿参数规模的模型训练。DualPipe通过智能调度机制，在反向传播阶段同步执行前向计算，使硬件利用率提升约30%。可谓是训练界的时间管理大师!

EPLB (Expert-Parallel Load Balancer)：这是一个用于V3/R1的专家并行负载均衡器。负载均衡是分布式训练非常重点的优化方向了，EPLB通过实时监控与自适应分配计算任务，确保各个计算节点的"工作量"适中，避免某些节点成为瓶颈,，使万卡级集群的整体利用率提升至92%以上，有效避免资源闲置，进一步提高训练效率。

Computation-Communication Overlap Analyzer：这个工具帮助分析V3/R1模型中的计算和通信重叠部分。DeepSeek首次构建了3D并行（数据/流水线/张量并行）的时空效率模型。通过开源的分析数据集开发者可精准定位计算与通信的冲突节点，为超大规模模型训练提供调优基准，据测试可减少约15%的端到端训练耗时。

🔥 Day5：3FS & Smallpond —— 数据洪流的超导管道

• 3FS GitHub Repo([7])：是一个利用现代SSD和RDMA网络全带宽的并行文件系统。
• Smallpond GitHub Repo([8]) : 是一款构建于DuckDB和3FS之上的轻量级数据处理框架。

Fire-Flyer 文件系统（3FS）是一个利用现代SSD和RDMA网络全带宽的并行文件系统。Smallpond是一款构建于DuckDB和3FS之上的轻量级数据处理框架。它旨在简化在3FS上进行数据处理的流程，并充分利用DuckDB的高性能分析能力，充分榨干SSD和RDMA性能。

GitHub Repo

[1]FlashMLA GitHub Repo:https://github.com/deepseek-ai/FlashMLA

[2]DeepEP GitHub Repo:https://github.com/deepseek-ai/DeepEP

[3]DeepGEMM GitHub Repo:https://github.com/deepseek-ai/DeepGEMM

[4]DualPipe流水线:https://github.com/deepseek-ai/DualPipe

[5]EPLB负载均衡器:https://github.com/deepseek-ai/eplb

[6]profile-data可视化分析工具:https://github.com/deepseek-ai/profile-data

[7]3FS GitHub Repo:https://github.com/deepseek-ai/3FS

[8]Smallpond GitHub Repo:https://github.com/deepseek-ai/smallpond