Bandana论文阅读
碎碎念： 读完这个WWW上的论文，我只能说nb，17页，越看越觉得Bandana模型好，而且提出了一种新的评估方法，让那些本来链接预测的结果很好的都下降了好多
最最最重要的一点：细节决定成败！！！
回顾以前看论文就看的很粗略不记笔记，导致啥也没学到
基本思想
- Bandana采用了离散带宽的掩码策略，并不是把边看成掩码/不掩码，而是可以看成掩50%的码，把传统的二元01掩码策略变成了连续掩码，实现方法是用邻接矩阵乘以一个遵从玻尔兹曼分布的矩阵(灵感来源于GAT)
- 而且还对encoder嵌入的每一层都进行了掩码，不同层的掩码矩阵不一样，但最后嵌入表示是最后一层的
- 重构目标变为了预测带宽，即预测这条边被掩码了多少
论文里没有框架流程图，只有对每一部分进行分析的图
分析现有的存在的问题
从局部和全局性的信息角度进行分析
- 局部信息：传统的二元掩码不提供邻居的可辨别性，GCN和GAT都不够好
- 全局信息：二元掩码会阻碍信息的流动
- 但Bandan的encoder不能用GAT或Transformer，因为他为每条边分配了权重，而GAT就是依靠学习到的边的权重而进行，Transformer里面也有注意力权重
- 而且Bandana的时空复杂度都挺高的
- 从各种实验角度证明Bandana的好处，普通的链接预测，节点分类，大规模图上的，半监督学习上的，能量模型，流式学习等等
以后可以用到的
- 提出了一种新的评估手段，用点积代替了下游任务的解码器，防止解码器训练后对实验结果产生影响，从而无法突出预训练的编码器的好处
- GAT在给邻居分配权重时相似（？）
- 拓扑学习不仅可以理解图结构，还能揭示出节点特征的潜在模式