Unet改进17：添加ShuffleAttention||减少冗余计算和同时存储访问
本文内容：在不同位置添加ShuffleAttention注意力机制
目录
论文简介
1.步骤一
2.步骤二
3.步骤三
4.步骤四
论文简介
注意机制使神经网络能够准确地关注输入的所有相关元素，已成为提高深度神经网络性能的重要组成部分。在计算机视觉研究中广泛应用的注意机制主要有空间注意和通道注意两种，它们的目的分别是捕捉像素级的成对关系和通道依赖关系。
虽然将它们融合在一起可以获得比单独实现更好的性能，但它将不可避免地增加计算开销。在本文中，我们提出了一个高效的Shuffle Attention (SA)模块来解决这个问题，该模块采用Shuffle Units来有效地结合两种类型的注意机制。具体来说，SA首先将通道维度分组为多个子特征，然后并行处理它们。然后，对于每个子特征，SA利用Shuffle Unit来描述空间和通道维度上的特征依赖关系。然后对所有子特征进行聚合，并采用“信道洗牌”算子实现不同子特征之间的信息通信。所提出的SA模块是高效且有效的，例如SA在骨干ResN