当前位置： 首页 > article >正文

GCNet的简述

article 2025/2/1 9:45:44

其中了解self-attention知道他的计算量是O\left ( n^{2} \right )

Global Context Attention计算量变少从O\left ( n^{2} \right )变成O\left ( n \right )

NL：

(a)首先resize成C×HW然后通过1×1的卷积生成q，k，v，然后q乘k^{T} 变成HW×HW，然后通过softmax进行归一化然后和v进行乘，再通过1×1的卷积，再和原图进行相加也就是特征融合

由于不同位置的q对应热图几乎一致，因此可以共用一张热图，从而简化成（b）

再通过数学技巧把 W_{v}提出来，最后变成：

再借鉴se模块，将se的思路先降维后升维，这样减少计算量，并且加入了ln层更加稳定，形成最后的GCblock.


http://www.kler.cn/a/441086.html

相关文章：

  • Day28（补）-【AI思考】-AI会不会考虑自己的需求？
  • 新版231普通阿里滑块 自动化和逆向实现 分析
  • 数据结构 队列
  • Eureka 服务注册和服务发现的使用
  • SSM开发(八) MyBatis解决方法重载
  • Linux环境基础开发工具的使用(apt, vim, gcc, g++, gbd, make/Makefile)
  • 解锁报表在线设计新高度：FastReport Online Designer 2025.1 正式上线！
  • 【C#】Debug和Release的区别和使用
  • 23. 合并 K 个升序链表(java)
  • 基于Vue 3 简单自定义Table组件（乞丐版）
  • C语言刷题（2）
  • phpSpider如何应对网页结构的变化
  • OpenCV目标检测 级联分类器 C++实现
  • 力扣--LCR 158.库存管理II
  • Python与数据库Mysql连接及操作方法
  • Day41 动态规划part08
  • 【C++】模板机制
  • SSM 垃圾分类系统：科技赋能环保新篇
  • Vue Web开发（八）
  • Android 写排行榜，顶部前三
  • 字符2
  • Group FLUX - Summary Essay of the Alpha Phase Problem
  • Next.js流量教程：如何在 Next.js 中添加结构化数据以生成丰富摘要（Rich Snippets）
  • 【现代服务端架构】传统服务器 对比 Serverless
  • 电机控制杂谈（23）——共模电压与轴电流
  • es 开启slowlog