论文略：ACloser Look into Mixture-of-Experts in Large Language Models
202406 arxiv
关于这几个MOE的详细实验
- 主要实验发现：
- Mixtral可能包含具有独特属性的专家
- DeepSeek和Grok的专家权重矩阵的相似性通常低于Mixtral（DeepSeek和Grok专家的矩阵级相似性通常接近零，而Mixtral专家的相似性平均约为0.3）
- 如图1中的Mixtral热力图所示，不同专家的权重在较深层次的相似性较低（越深的层次，专家的多元性越大）
- Wup、Wdown和 Wgate在其相似性热力图中共享相似的模式
- 门控嵌入的相似性和 Wgate 的相似性表现出正相关
- Mixtral 和 DeepSeek 不同专家的输出在深层（最后几层）之间差异较大（差异更为明显）
- 专家输出的平均热力图类似于神经元级相似性图
- ——>权重相似性度量可以反映输出相似性
- ——>权重相似性度量可以反映输出相似性
- Grok专家展示出较高的输出相似性
