论文阅读《Co-clustering for Federated Recommender System》

论文概况

本文是2024 WWW的一篇联邦推荐论文，提出了一个基于特定类别物品相似度来进行聚类的联邦推荐框架。

Introduction

• 分析了经典聚类技术KMeans在联邦推荐设置中的不足，提出了一种新的共聚类联邦推荐机制CoFedRec，该机制在每个通信回合中根据特定的物品类别对用户进行分组，并生成包含邻居协作信息的智能组模型。我们提出的范例适用于不同的主干。

• 在局部训练阶段引入监督对比项，对用户个人物品网络中的全局物品关系进行编码。这确保了我们提出的CoFedRec不仅有效地利用用户协作信息，而且还无缝地将全球见解集成到本地培训过程中。

Method

A.用户分区的协同聚类

在每一轮交流中，我们专注于单个项目类别，并根据用户对该特定类别的相似或不相似程度将用户分为两个不同的组。在每一轮𝑡中，服务器都需要为一个核心客户端𝑐∈𝑈和一个项目类别𝑘提供服务，具体来说，就是查找客户端的邻居𝑐。为了实现这一点，服务器首先对参与者客户端上传的所有项目网络执行全局聚合，然后生成M个项目种类（聚类），详细说明哪些项目属于哪些类别。然后，我们计算核心客户和所有其他参与者在其项目网络的选定项目类别上的相似度。
$$s_u=\sum _{i\in M_k}\frac{V_{c,i}\cdot V_{u,i}}{\left|V_{c,i}\right|\cdot \left|V_{u,i}\right|},u\in P$$

为了将所有用户分为相似与不相似两类，我们寻找相似度得分中的肘部点来做分界线
$$\mathbf{L}(x)=s_{1^{\prime }}+x(s_{|P{|}^{\prime }}-s_{1^{\prime }})$$
对于相似性分数中的每个点𝑠𝑢，我们计算其到直线L(x)的正交距离
$$x_u=\frac{h_u\cdot (s_{|P{|}^{\prime }}-s_{1^{\prime }})}{|s_{|P{|}^{\prime }}-s_{1^{\prime }}{|}^2}$$
$$d_u=|h_u-x_u(s_{|P{|}^{\prime }}-s_{1^{\prime }})|$$
取到直线L(x)的距离𝑑𝑒最大的点𝑒作为弯头点。
$$\{\begin{array}{ll}u\in D_s,& \mathrm{if}{d}_u\ge d_e,\\ u\in D_{dis},& \mathrm{if}{d}_u<d_e,\end{array}$$
组形成后，进行组聚合，在相似组内传递协作信息:
$$V_s\leftarrow \frac{1}{|D_s|}\sum _{u\in D_s}{V}_u$$

B.本地监督对比学习

在前一节中，我们提出了共同聚类，以发现客户机之间的共同偏好，然后将它们聚到相似组和不相似组中，在聚合阶段排除后者。然而，这可能会导致忽略一些不同的信息，因为全局洞察力可能部分来自被忽略的不同客户。
首先，我们在服务器用kmeans对所有物品进行聚类，
$${\varphi }_c(V_{g,i};\mathbb{C})=\Vert V_{g,i}-C{\Vert }_F^2$$
在客户端，我们将服务器中属于同类的物品拉近，不同类物品远离，以此作对比学习
L s u p = − ∑ i ∈ I log ⁡ { 1 ∣ Z ( i ) ∣ ∑ z ∈ Z ( i ) ( exp ⁡ ( V u , i ⋅ V u , z / τ ) ∑ a ∈ I ∖ { i } exp ⁡ ( V u , i ⋅ V u , a / τ ) ) } L_{sup}=-\sum_{i\in I}\log\left\{\frac{1}{|Z(i)|}\sum_{z\in Z(i)}\left(\frac{\exp(V_{u,i}\cdot V_{u,z}/\tau)}{\sum_{a\in I\setminus\{i\}}\exp(V_{u,i}\cdot V_{u,a}/\tau)}\right)\right\} Lsup​=−i∈I∑​log⎩ ⎨ ⎧​∣Z(i)∣1​z∈Z(i)∑​(∑a∈I∖{i}​exp(Vu,i​⋅Vu,a​/τ)exp(Vu,i​⋅Vu,z​/τ)​)⎭ ⎬ ⎫​

C.结果

总结

第二个创新点凑数用的，典中典利用服务器的聚类信息给客户端作对比学习，重点在于提出以往聚类的不足以及新型聚类方法。