当前位置：首页 > article >正文

论文笔记：Model-Contrastive Federated Learning

article 2024/9/27 17:36:07

0 简介

论文：Model-Contrastive Federated Learning
代码：https://github.com/QinbinLi/MOON
相关链接：本文主要是将SimCLR对比学习的思想迁移到联邦学习中，关于SimCLR的介绍见https://blog.csdn.net/search_129_hr/article/details/130419626

1 核心思想

在这里插入图片描述
SimCLR对比学习的对象是：

图像 $x$ 先经过数据增强后得到的 $x_i$ 和 $x_j$ ，然后经过特征提取器 $R_w(\cdot)$ 得到的特征 $z_i$ 和 $z_j$ ，训练的参数就是特征提取器的参数 $w$ ；
总体想法是同一张图片增强后的图片得到的特征要相聚，不同图片增强后的图片得到的特征相离；

在这里插入图片描述

本文提出的联邦学习MOON对比学习的对象为：

$w^t$ ：the global model全局模型；
$w_i^t$ ：客户端 $P_i$ 的局部模型；
$z_{\text{prev}} = R_{w_i^{t-1}}(x)$ ：上一轮本地训练好的发往服务器的本地模型得到的表征（固定）；
$z_{\text{glob}} = R_{w^t}(x)$ ：这轮开始时服务器发送到本地客户端的全局模型得到的表征（固定）；
$z = R_{w_i^t}(x)$ ：这轮正在被更新的本地模型得到的表征（不断更新），本文作者在符号系统上没有仔细推敲，图中用的 $z_{\text{local}}$ ，公式用的是 $z$ 。

本文的目标是让 $z$ 靠近 $z_{\text{glob}}$ (固定)，让 $z$ 远离 $z_{\text{prev}}$ (固定)，通过如下损失函数来控制：
$\ell_{\text {con }}=-\log \frac{\exp \left(\operatorname{sim}\left(z, z_{\text {glob }}\right) / \tau\right)}{\exp \left(\operatorname{sim}\left(z, z_{\text {glob }}\right) / \tau\right)+\exp \left(\operatorname{sim}\left(z, z_{\text {prev }}\right) / \tau\right)},$
其中 $\tau$ 为温度系数，分子是正样本对 $z_{\text{glob}})$ ，分母是正样本对 $z_{\text{glob}})$ +负样本对 $z_{\text{prev}})$ 。

$\ell=\ell_{\text {sup }}\left(w_i^t ;(x, y)\right)+\mu \ell_{\text {con }}\left(w_i^t ; w_i^{t-1} ; w^t ; x\right)$
其中 $\ell_{\text {sup }}\left(w_i^t ;(x, y)\right)$ 为监督学习交叉熵损失，客户端的 $x$ 利用全局模型 $z_{\text{glob}} = R_{w^t}(x)$ 进行预测得到 $\hat{y}$ ，然后和真实标签 $y$ 计算交叉熵Loss； $\mu$ 为超参数控制对比学习的权重。
在这里插入图片描述