最近对GFM有点感兴趣,偶读石川老师关于这方面的文章,很感兴趣,整理他的讲稿如下
csdn mermaid语法支持不完善,尝试绘制思维导图后,放弃了。幕布链接,可以用这个查看思维导图(可能更清晰一点)(右上角可以切换为思维导图模式)
图基础模型初探
当图模型遇到大模型
大模型解决不了图的问题。
-
大模型难以处理多样的图任务
-
大模型难以建模图结构语义。
图模型不具备大模型的能力
-
有限的表达能力。
-
深层GNN:过平滑、过压缩问题。
-
没有涌现能力、难以支持多任务。
图基础模型
主要特点
-
涌现:随着模型增大,自发地展现新颖的能力。
-
同质化:模型可以适应不同类型的图任务
图基础模型的关键技术包括
-
预训练技术:神经网络以一种自监督的方式在大规模图数据上训练。
-
适配技术:用于将预训练完成的模型适配到特定下游任务或领域来提高性能
相关工作
基于GNN的模型
-
旨在通过对GNN的模型架构、预训练和适配方面的创新来增强现有的图学习能力。
- E.g.Graph transformer,Graph GL,Graph prompt
基于LLM的模型
- 以LLM为基础,将图转化为文本(Text)或标记(Token)的方式,探索将LLM用作图基础模型的可行性。
基于GNN+LLM的模型
-
GNN为中心的架构:将LLM的输出作为GNN的增强特征
-
对称架构:将GNN和LLM的输出对齐。
-
LLM为中心的架构:利用GNN提升LLM的表现。
石川老师组的工作
- 好多篇图transformer等的顶会