即插即用篇 | YOLOv8 引入单头视觉Transformer模块 | CVPR 2024
本改进已同步到YOLO-Magic框架！
最近，高效的视觉Transformer在资源受限的设备上以低延迟表现出了出色的性能。传统上，它们在宏观层面上采用4×4的Patch嵌入和四阶段结构，而在微观层面上使用多头配置的复杂注意力机制。本文旨在通过内存高效的方式解决各个设计层面的计算冗余问题。我们发现，使用更大步幅的Patchify起始层不仅可以降低内存访问成本，还能够通过在早期阶段利用减少空间冗余的Token表示来实现具有竞争力的性能。此外，我们的初步分析表明，早期阶段的注意力层可以用卷积替代，而后期阶段的多个注意力头在计算上是冗余的。为了解决这一问题，我们引入了一个单头注意力模块，它从根本上防止了注意力头的冗余，同时通过并行结合全局和局部信息提升了准确性。
基于我们的解决方案，我们提出了SHViT，即单头视觉Transformer，它在速度与准确性的平衡上达到了当前的最佳水平。例如，在ImageNet-1k