DeepSeek如何在有限的计算资源下开发高级AI模型
DeepSeek 在有限的计算资源下开发高级 AI 模型，主要通过几个创新方法：
- 专家混合架构（MoE）：仅激活每个 MoE 层中的一部分路由专家，大幅扩展模型容量，同时减少计算成本。
- 低秩键值联合压缩技术 (MLA)：将多头注意力机制中需要缓存的键（Key）和值（Value）矩阵压缩为一个低维潜在向量，显著减少内存占用，实现高效注意力计算。
- 多 Token 预测 (MTP)：一次性预测多个词汇，迫使模型学习 Token 之间的依赖关系，更好地理解上下文信息，提高计算速度并降低内存消耗。
- 混合精度训练：采用混合精度训练方法，降低 GPU 内存占用和计算开销，同时保持高性能。
- 并行策略：采用复杂的三层并行策略（流水线并行、专家并行和数据并行），并通过创新的流水线并行算法减少流水线停滞现象，提高 GPU 利用率并减少通信开销。
- 群体相对策略优化 (GRPO): 提出一种创新的强化学习算法，提升大语言模型的推理能力，跳过费时的人类反馈的强化学习（RLHF）和传统的监督微调（SFT）过程，使得训练过程高效低耗。
- 软硬件协同优化：综合考虑硬件和软件的相互关系，实现软硬件架构的联合设计，以及内存和计算能力的合理调配和负载均衡策略。
- 训练管道分阶段：训练管道分为冷启动微调、推理强化学习和拒绝采样与最终微调三个阶段。通过规则奖励和自动化的推理强化学习，大幅降低了训练成本。
- 开源利用：充分利用开源工具和社区贡献，避免了昂贵的专有技术和工具依赖，降低研发成本，加快迭代速度。