当前位置: 首页 > article >正文

最近对GFM有点感兴趣,偶读石川老师关于这方面的文章,很感兴趣,整理他的讲稿如下

csdn mermaid语法支持不完善,尝试绘制思维导图后,放弃了。幕布链接,可以用这个查看思维导图(可能更清晰一点)(右上角可以切换为思维导图模式)

图基础模型初探

当图模型遇到大模型

大模型解决不了图的问题。

  • 大模型难以处理多样的图任务

  • 大模型难以建模图结构语义。

图模型不具备大模型的能力

  • 有限的表达能力。

  • 深层GNN:过平滑、过压缩问题。

  • 没有涌现能力、难以支持多任务。

图基础模型

主要特点

  • 涌现:随着模型增大,自发地展现新颖的能力。

  • 同质化:模型可以适应不同类型的图任务

图基础模型的关键技术包括

  • 预训练技术:神经网络以一种自监督的方式在大规模图数据上训练。

  • 适配技术:用于将预训练完成的模型适配到特定下游任务或领域来提高性能

相关工作

基于GNN的模型

  • 旨在通过对GNN的模型架构、预训练和适配方面的创新来增强现有的图学习能力。

    • E.g.Graph transformer,Graph GL,Graph prompt

基于LLM的模型

  • 以LLM为基础,将图转化为文本(Text)或标记(Token)的方式,探索将LLM用作图基础模型的可行性。

基于GNN+LLM的模型

  • GNN为中心的架构:将LLM的输出作为GNN的增强特征

  • 对称架构:将GNN和LLM的输出对齐。

  • LLM为中心的架构:利用GNN提升LLM的表现。

石川老师组的工作

  • 好多篇图transformer等的顶会

未来研究方向

提升数据量和数据质量

改进骨干架构和训练策略

模型评估和寻找杀手级应用


http://www.kler.cn/a/297301.html

相关文章:

  • 装WebVideoCreator记录
  • 分组注解和自定义注解及分页查询
  • 数据结构可视化
  • 天命所归,SyntaxFlow助大圣取得真经
  • 不到200行代码,一键写出简单贪吃蛇网页游戏!附详细代码!快来看看吧!
  • 分布式锁-缓存一致性问题-失效模式
  • 昔日洗衣液一哥偏执于直播带货市值缩水九成 或成胡干失败样板
  • VScode:前端开发中的常用快捷键和技巧
  • 分享 | 某省级城商行用零信任破解远程访问安全风险
  • 滑动窗口系列(背向双指针)9/8
  • [git操作] git创建仓库上传github报错
  • 并发编程(六)
  • vue3 cookie 存取删数据
  • 镭速助力构筑ICT安全高效的大文件传输
  • 【android10】【binder】【2.servicemanager启动——全源码分析】
  • MySQL数据归档策略:实现定期数据维护与优化
  • 数据结构—单链表的基本操作
  • Vue3进阶:异步状态示例
  • Docker 学习 Day 1
  • springboot整合Logback