Rotary Position Embedding（RoPE）在视觉Transformer中的应用与提升
https://arxiv.org/html/2403.13298v1
Rotary Position Embedding（RoPE）在视觉Transformer中的应用与提升
近年来，Transformer架构因其在自然语言处理（NLP）和计算机视觉（CV）等多个领域的卓越表现，成为深度学习研究的热点。然而，Transformer的性能在很大程度上依赖于位置嵌入（Position Embedding）机制，用于为模型提供位置信息。本文将介绍一项最新研究——Rotary Position Embedding（RoPE）在视觉Transformer中的应用与提升，探讨其在视觉任务中的潜力及实际效果。
研究背景
Transformer与位置嵌入
Transformer通过自注意力机制（Self-Attention）处理输入数据，将其视为一系列的token序列。然而，自注意力机制本身对token的位置信息不敏感，因此需要额外的位置信息注入。常见的位置嵌入方法主要有两种：
- 绝对位置嵌入（Absolute Position