旋转位置编码Rope
RoPE（旋转式位置编码Rotary Position Embedding，RoPE）是目前常见大模型使用的位置编码方式。
本文主要包含 1. 绝对位置编码；2.相对位置编码；3.RoPE的表达式推导；4. 远程衰减性；5. 线性注意力的应用；6.代码链接。
大模型都在用的：旋转位置编码-CSDN博客
RoFormer代码：
GitHub - ZhuiyiTechnology/roformer: Rotary Transformer
https://zhuanlan.zhihu.com/p/690726751