0 简介

论文：Model-Contrastive Federated Learning
代码：https://github.com/QinbinLi/MOON
相关链接：本文主要是将SimCLR对比学习的思想迁移到联邦学习中，关于SimCLR的介绍见https://blog.csdn.net/search_129_hr/article/details/130419626

1 核心思想

SimCLR对比学习的对象是：

• 图像$x$先经过数据增强后得到的$x_i$和$x_j$，然后经过特征提取器$R_w(\cdot )$得到的特征$z_i$和$z_j$，训练的参数就是特征提取器的参数$w$；
• 总体想法是同一张图片增强后的图片得到的特征要相聚，不同图片增强后的图片得到的特征相离；

本文提出的联邦学习MOON对比学习的对象为：

• $w^t$：the global model全局模型；
• $w_i^t$：客户端$P_i$的局部模型；
• $z_{\text{prev}}=R_{w_i^{t-1}}(x)$：上一轮本地训练好的发往服务器的本地模型得到的表征（固定）；
• $z_{\text{glob}}=R_{w^t}(x)$：这轮开始时服务器发送到本地客户端的全局模型得到的表征（固定）；
• $z=R_{w_i^t}(x)$：这轮正在被更新的本地模型得到的表征（不断更新），本文作者在符号系统上没有仔细推敲，图中用的$z_{\text{local}}$，公式用的是$z$。

本文的目标是让$z$靠近$z_{\text{glob}}$ (固定)，让$z$远离$z_{\text{prev}}$ (固定)，通过如下损失函数来控制：
$${\ell }_{\text{con }}=-\log \frac{\exp \left(\mathrm{sim}\left(z,z_{\text{glob }}\right)/\tau \right)}{\exp \left(\mathrm{sim}\left(z,z_{\text{glob }}\right)/\tau \right)+\exp \left(\mathrm{sim}\left(z,z_{\text{prev }}\right)/\tau \right)},$$
其中$\tau$为温度系数，分子是正样本对$(z,z_{\text{glob}})$ ，分母是正样本对$(z,z_{\text{glob}})$ +负样本对$(z,z_{\text{prev}})$。

$$\ell ={\ell }_{\text{sup }}\left(w_i^t;(x,y)\right)+\mu {\ell }_{\text{con }}\left(w_i^t;w_i^{t-1};w^t;x\right)$$
其中${\ell }_{\text{sup }}\left(w_i^t;(x,y)\right)$为监督学习交叉熵损失，客户端的$x$利用全局模型$z_{\text{glob}}=R_{w^t}(x)$进行预测得到$\hat{y}$，然后和真实标签$y$计算交叉熵Loss；$\mu$为超参数控制对比学习的权重。

2 伪代码

• 理想情况下（IID），全局模型和本地模型训练得到的表征应该是一样好的，此时${\ell }_{\text{con }}$是一个常数，这样会得到FedAvg一样的效果。
• 在这种意义上，MOON比FedAvg更具鲁棒性（能处理Non-IID的情况）。