【论文速看】DL最新进展20241020-Transformer量化加速、低光增强

【Transformer量化】

[2024] SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration

论文链接：https://arxiv.org/pdf/2410.02367

代码链接：https://github.com/thu-ml/SageAttention

Transformer架构在各种模型中占主导地位。作为Transformer的核心，注意力的计算复杂度为O(N^2)，而线性变换为O(N)。在处理大序列长度时，注意力成为主要耗时组件。尽管量化已经被证明是加速模型推理的有效方法，但现有的量化方法主要集中在优化线性层。为此，本文首先详细分析了注意力量化的可行性。在此基础上，作者提出了SageAttention，一种高效且准确的注意力量化方法。所提方法的OPS（每秒操作数）分别比FlashAttention2和xformers高出约2.1倍和2.7倍。SageAttention还在准确性表现上优于FlashAttention3。全面的实验证实了所提方法在各种模型上几乎没有端到端指标损失，包括用于大规模语言处理、图像生成和视频生成的模型。

【低光增强】

[2024] Towards Flexible and Efficient Diffusion Low Light Enhancer

机构：上交大、上海AI lab

论文链接：https://arxiv.org/pdf/2410.12346

代码链接：无

基于扩散的低光照图像增强（LLIE）在改善低光照图像的可见性方面取得了显著成效。然而，迭代采样过程引入的巨大计算负担仍然是一个主要关注点。当前的加速方法，无论是基于训练还是无训练的，通常会导致显著的性能下降。因此，为了实现性能与现有多步骤教师模型相媲美的高效学生模型，通常需要重新训练一个更有能力的教师模型。这种方法引入了不灵活性，因为它需要额外的训练来提升教师的性能。为了解决这些挑战，作者提出了一种专门为LLIE设计的步骤蒸馏框架，称为反射感知扩散与蒸馏轨迹（ReDDiT）。ReDDiT训练一个学生模型，在较少的步骤内复制教师的轨迹，同时还具有超越教师表现的能力。具体来说，首先引入了一个轨迹解码器，从教师模型提供指导。接着，将一个反射感知轨迹细化模块融入到蒸馏过程中，以实现更加确定性的来自教师模型的指导。所提框架在仅2步内达到了与以前基于扩散的方法相当的性能，同时在8或4步时取得了新的最先进结果。对10个基准数据集的全面实验评估验证了所提方法的有效性，始终表现优于现有的最先进方法。