Moe(混合专家)架构和Dense架构对比？
MoE 架构和 Dense 架构有以下一些对比：
结构设计
- MoE 架构：将模型拆分为多个 “专家” 网络，由门控网络根据输入特征选择 Top-K 个相关专家进行计算，实现 “稀疏计算”。
- Dense 架构：采用传统 Transformer 架构，包含编码器 - 解码器层等基本结构，每次计算激活的参数量就是整个模型的全部参数。
计算效率
- MoE 架构：仅激活部分专家，极大减少了计算量，降低算力消耗，在扩大模型规模时可保持计算成本相对固定。
- Dense 架构：所有参数都参与计算，计算量随模型规模增大呈指数级增长，在相同参数量下计算成本较高。
模型性能
- MoE 架构：门控网络可选择合适专家处理不同任务，泛化能力强，在多任务学习场景表现出色，但在小规模数据集上易过拟合，微调困难。
- Dense 架构：通过增加模型规模可直接提升输出质量，性能表现可靠，但在处理复杂多任务时灵活性不如 MoE。
训练难度
- MoE 架构：存在训练稳定性问题，部分专家参数更新不足，还需解决负载均衡和高通信成本问题。
- Dense 架构：训练相对简单，有大量实践经验可参考，稳定性较好。
资源需求
- MoE 架构：推理时计算量小，但需较大显存加载所有参数。
- Dense 架构：同等参数规模下，推理时计算量和内存占用大，对计算资源要求高。
应用场景
- MoE 架构：适用于大规模、高吞吐量场景，如大规模多语言翻译、大规模知识图谱构建。
- Dense 架构：适用于资源受限或小规模应用场景，以及对模型结构简单性和可解释性要求较高的场景。