当前位置：首页 > article >正文

DeepSeek：新版MoE语言模型技术报告

article 2025/3/1 17:15:10

在这里插入图片描述

📖标题：DeepSeek-V3 Technical Report
🌐来源：arXiv, 2412.19437

🌟摘要

🔸我们提出了DeepSeek-V3，这是一个强大的混合专家（MoE）语言模型，总参数为671B，每个令牌激活37B。为了实现高效的推理和经济高效的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。
🔸此外，DeepSeek-V3开创了一种用于负载平衡的辅助无损耗策略，并设定了多令牌预测训练目标以提高性能。我们在14.8万亿个多样化和高质量的代币上对DeepSeek-V3进行预训练，然后进行监督微调和强化学习阶段，以充分利用其功能。
🔸综合评估显示，DeepSeek-V3的表现优于其他开源模型，其性能可与领先的闭源模型相媲美。尽管性能卓越，DeepSeek-V3只需要2.788M H800 GPU小时即可进行全面训练。此外，它的训练过程非常稳定。在整个训练过程中，我们没有遇到任何不可挽回的损失高峰或任何倒退。模型检查点位于https://github.com/deepseek-ai/DeepSeek-V3.

🛎️文章简介

🔸研究问题：如何解决大语言模型（LLM）在训练和推理过程中的负载均衡和性能优化？
🔸主要贡献：论文提出了DeepSeek-V3模型，引入了无辅助损失的负载均衡策略和多令牌预测目标，显著提升了模型性能。

📝重点思路

🔸模型架构：采用Transformer框架，采用了多头潜在注意力（MLA）进行高效推理，采用了DeepSeekMoE架构进行经济高效的训练，在DeepSeek-V2中得到了彻底的验证。
🔸负载均衡策略：引入无辅助损失的负载均衡，通过动态调整专家偏置项，确保训练过程中专家负载均衡，避免了传统辅助损失对模型性能的负面影响。
🔸多令牌预测（MTP）目标：扩展了模型的预测范围，使其能够同时预测多个未来令牌，从而提高了训练信号的密度和数据效率。
🔸并行训练：使用HAI-LLM框架，支持16路管道并行、64路专家并行和ZeRO-1数据并行。
🔸混合精度训练：采用FP8数据格式进行低精度训练，同时保留关键操作的高精度，以平衡训练效率和数值稳定性。
🔸推理部署：通过冗余专家部署和高效的通信策略，确保负载均衡并减少延迟。

🔎分析总结

🔸性能提升：DeepSeek-V3在教育、代码和数学等任务上表现优异，超越了其他开源模型，并与领先的闭源模型（如GPT-4o和Claude-3.5-Sonnet）竞争。
🔸负载均衡：无辅助损失的负载均衡策略显著提升了模型性能，避免了训练和推理阶段的令牌丢失。
🔸多令牌预测：MTP策略在多个模型规模上均能提升模型性能，尤其是在小规模模型上表现更为显著。
🔸混合精度训练：FP8训练框架在保持模型性能的同时，显著提升了训练速度和内存效率，相对误差控制在0.25%以内。
🔸并行训练：该算法显著减少了管道气泡，提升了训练效率，尤其是在大规模模型训练中表现出色。
🔸推理效率：通过冗余专家部署和优化推理框架，DeepSeek-V3的推理速度比前代模型提升了两倍以上。