dl笔记：MOE
1 moe介绍
混合专家模型主要由两个关键部分组成
- 稀疏MoE 层
- 这些层代替了传统 Transformer 模型中的前馈网络 (FFN) 层
- MoE 层包含若干“专家”，每个专家本身是一个独立的神经网络。
- 通常是参数更少的前馈网络 (FFN)
- 甚至可以是 MoE 层本身，从而形成层级式的 MoE 结构
- 门控网络（路由）
- 用于决定哪些令牌 (token) 被发送到哪个专家
特点
- 与稠密模型相比， 预训练速度更快
- 在相同的计算预算条件下，可以显著扩大数据集的规模
- 与具有相同参数数量的模型相比，具有更快的 推理速度
- 推理阶段只使用moe的一部分，有些参数是用不上的
- 在 微调方面存在诸多挑战
- 在微调阶段往往面临泛化能力不足的问题，长期以来易于引发过拟合现象
- 令牌存在负载均衡的挑战
- 在训练过程中，门控网络往往倾向于主要激活相同的几个专家。
- 这种情况可能会自我加强，因为受欢迎的专家训练得更快，因此它们更容易被选择。
- ——>解决方法有：
- 引入辅助损失，旨在鼓励给予所有专家相同的重要性
- 给每个专家处理令牌的阈值
- 在训练过程中，门控网络往往倾向于主要激活相同的几个专家。