YoloV5改进策略：Swift Parameter-free Attention，无参注意力机制，超分模型的完美迁移
摘要
https://arxiv.org/pdf/2311.12770.pdf
https://github.com/hongyuanyu/SPAN
SPAN是一种超分网络模型。SPAN模型通过使用参数自由的注意力机制来提高SISR的性能。这种注意力机制能够增强重要信息并减少冗余，从而在图像超分辨率过程中提高图像质量。
具体来说，SPAN模型具有以下特点：
- 参数自由：与传统的注意力机制相比，SPAN模型不依赖于任何参数，因此可以避免由于参数过多而导致的过拟合问题，以及训练时间过长的问题。
- 局部和全局信息融合：SPAN模型通过将局部和全局信息融合在一起，能够更好地捕捉到图像中的长程依赖关系，从而更准确地确定重要信息。
- 残差连接：SPAN模型使用残差连接来避免梯度消失问题，从而能够更有效地利用深层信息。
- 对称的激活函数：SPAN模型使用对称的激活函数，这使得模型更加简单，同时能够更好地捕捉到图像中的细节信息。
减少参数数量和加快推理速度
SPAN模型通过采用一种参数自由的注意力机制来减少参数数量和加快推理速度。这种注意力机制利用对称的激活函数和残差连接来增强重要的信息并减少冗余信息。
传统的注意力机制，通常在计算过程中需要复杂的网络结构，这不仅会增加模型的参数数量，还会降低推理速度。此外，由于这种复杂性，模型的训练也可能需要更多的时间和计算资源。
与此不同，SPAN模型采用了一种创新的参数