当前位置: 首页 > article >正文

GNN中的Over-smoothing与Over-squashing问题

Over-squashing

(过度压缩,顾名思义就是数据被“压缩”的过分小了,导致学不到什么东西。)

1、 why 会被压缩的过分小?

可能因为网络过深,那么在多层传播后,信息可能会被过度压缩(本质是特征减少了,当层数过多时会大大杂糅信息,导致特征减少,输出维度过小也会),导致细节丢失。

2、why 学不到什么东西?

会加剧梯度消失的现象,导致早期层几乎不学习,从而使得输入信息的重要细节无法有效传递到网络的深层。

Over-smoothing

Over-smoothing 是指随着GNN网络层数的增加,节点的特征表示逐渐趋向于一致,导致不同节点的特征差异变得越来越小的现象.

节点的特征由:没有关系 -> 相互关联  ->  关系过分杂糅,导致每个节点的输出相似

现在以一个simple 的GNN 来预测用户的兴趣为例:

  • 用户A:兴趣:运动
  • 用户B:兴趣:音乐
  • 用户C:兴趣:运动
  • 用户D:兴趣:旅行

GNN会根据邻居节点的特征更新每个节点的特征,假如A与B、C相连(有亲密关系,兴趣可能受对方影响),经过一层传播后,用户A的特征可能变为:兴趣:运动和音乐的混合。

最终输出:

  • 用户A:兴趣:运动、音乐、旅行的混合
  • 用户B:兴趣:运动、音乐、旅行的混合
  • 用户C:兴趣:运动、音乐、旅行的混合
  • 用户D:兴趣:运动、音乐、旅行的混合

所有用户的特征趋向于一致,失去了原有的差异性。这就是over-smoothing现象,导致模型在进行兴趣预测时的准确性下降,因为模型无法区分不同用户的特征。


http://www.kler.cn/a/294174.html

相关文章:

  • 数据结构--数组
  • Python入门(4)--流程控制(下)
  • 使用 Vision 插件让 GitHub Copilot 识图问答
  • 【JavaEE初阶 — 多线程】死锁的产生原因和解决方法
  • sql专题 之 where和join on
  • C++ —— 哈希详解 - 开散列与闭散列
  • 使用SymbolGlyph和SymbolSpan在HarmonyOS中实现高级图标效果
  • 【扩散模型(十)】IP-Adapter 源码详解 4 - 训练细节、具体训了哪些层?
  • 新加坡裸机云多IP服务器特性
  • java-在idea中antrl的hello world
  • 63、Python之函数高级:装饰器缓存实战,优化递归函数的性能
  • Spring Boot启动卡在Root WebApplicationContext: initialization completed in...
  • TulingMember进销存系统
  • Save OpenAI response in Azure function to Blob storage
  • 简单上手 PIPENV
  • 2024高教社杯数学建模国赛ABCDE题选题建议+初步分析
  • 计算机网络-VRRP工作原理
  • kubelet 探针
  • Vue3:实现路径变量
  • 同时播放多个视频
  • Spring Cloud Gateway整合基于STOMP协议的WebSocket实战及遇到问题解决
  • 基于单片机的家居环境监测系统的设计
  • 项目7-音乐播放器7(测试报告)
  • MATLAB 中的矩阵拼接技巧
  • bash反弹shell分析
  • C#编程语言及.NET 平台快速入门指南