当前位置：首页 > article >正文

复旦：LLM不同层位置编码缩放

article 2025/3/19 9:20:33

在这里插入图片描述

📖标题：Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling
🌐来源：arXiv, 2503.04355

🌟摘要

🔸尽管大型语言模型（LLM）在处理长上下文输入方面取得了重大进展，但它们仍然存在“中间丢失”问题，即上下文中间的关键信息往往不足或丢失。我们广泛的实验表明，这个问题可能源于旋转位置嵌入（RoPE）的快速长期衰减。
🔸为了解决这个问题，我们提出了一种特定于层的位置编码缩放方法，为每一层分配不同的缩放因子，减缓RoPE引起的衰减率，使模型更加关注中间上下文。采用专门设计的遗传算法，通过结合贝塞尔曲线来减少搜索空间，从而有效地为每一层选择最佳缩放因子。
🔸通过综合实验，我们证明我们的方法显著缓解了“中间丢失”的问题。我们的方法使键值检索数据集的平均准确率提高了20%。此外，我们表明，与跨所有层的均匀插值相反，当与PI和动态NTK位置编码方案相结合时，特定于层的插值增强了模型的外推能力。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在处理长文本时存在“中间信息丢失”现象，导致模型对上下文中间部分的忽视，从而影响整体性能。
🔸主要贡献：论文提出了一种层特定的位置信息编码缩放方法，通过为每一层分配不同的缩放因子，显著改善了模型在长文本任务中的表现，并引入了一种结合Bézier曲线的遗传算法，以高效确定每层的最优缩放因子。

📝重点思路

🔸通过实验验证“中间信息丢失”现象的潜在原因，明确该现象的数学问题定义。
🔸引入层特定的位置信息编码缩放方法，具体实施中利用遗传算法优化每层的缩放因子。
🔸使用Bézier曲线模型化层深度与缩放因子之间的关系，以加快搜索过程。
🔸通过对不同层的缩放因子进行动态分配，提高模型对上下文中间信息的利用能力，同时保持两端的性能。

🔎分析总结

🔸通过实验发现，均匀的缩放因子虽然可以缓解“中间信息丢失”现象，但会造成“尾部信息丢失”。
🔸层特定的缩放因子显著提高了模型对中间信息的敏感性，并在多个长文本任务中表现出一致的性能提升。
🔸实验结果表明，使用遗传算法进行的层特定缩放因子搜索在多个模型上表现出高效性和普适性，能够在短时间内确定最优参数。
🔸本文的方法在推理速度上并未引入额外延迟，相较于现有方法更具效率。