S2GAE论文阅读
CCFB类，2023年的论文，与MaskGAE的一些创新点很像
感觉里面的有些句子没解释清楚，而且也没引用，看的一头雾水，我觉得这篇论文最创新的就是从损失函数公式的角度把对比学习与生成学习统一起来了，而且模型的性能提升也不算很高，某一领域不突出，但所有应用场景表现很平均的好（“中庸之道”），在大规模图上表少的也不错
S2GAE
现有问题
主要与GAE和MaskGAE进行比较，分析了这两个模型的不足
- GAE和MaskGAE都过于强调临近信息，全局学到的很少
- GAE的泛化能力不行（主要在链接预测上表现好）
- MaskGAE不适用于大规模图，而且由于输入图包含噪音，其decoder表现力不好
创新点
- 提出了有向边掩码（Masked也有）
- 交叉熵关联解码（看流程图可以看出来怎么做的）更能学习到信息的表示
- 从loss函数方面把对比学习与生成学习统一起来
- 都计算了两个节点间的相似度
- 对比学习用了两种增强策略得到了两个节点的增强视图进行比较，生成学习相当于用一种增强策略及掩码得到了两个节点的增强视图
- 把某条边相连的两个顶点的局部子图作为两个子图进行对比
可以用到的小点
- 在做实验的时候由于GraphMAE没有进行链接预测实验，可以自己训练一个MLP的decoder进行微调
- 在进行节点分类，图分类的时候只用到了encoder，但是在连接预测任务中预训练的decoder也被用来进行预测两个节点之间是否存在边（这样Bandana提出的decoder会扰乱评估过程就说的通了）
- 在计算loss时，分母不是计算了所有节点的，而是用了负采样
- 而且在消融实验中，MLP换成GNN效果反而不好，好神奇，我觉得是和他上一步的交叉相乘有关系
- 把所有层的嵌入拼接到一起也不好（但是MaskGAE就是拼接到一起了，效果挺好）