当前位置： 首页 > article >正文

【算法分析】FlashAttention算法演进分析

article 2024/12/4 17:49:18

概述

LLM大模型训练/推理深度依赖FlashAttention算法，本文从Standard Slef-Attention到 FlashAttention，介绍算法的原理和优化演进。

Attention 算法演进 Overview

算法说明

关于FlashAttentionV1 算法的执行过程，请看我的另外一篇博客分析：  

【算法分析】FlashAttention算法实例演示_flash attention实例-CSDN博客

 

关于FlashAttention V2 和 V1 算法的区别，请看我的另外一篇博客分析： 

【算法分析】FlashAttention v2算法优化实例说明_如何使用fastattention2-CSDN博客


http://www.kler.cn/a/419881.html

相关文章：

  • Figma入门-自动布局
  • 实时数据开发 | Flink的数据分区策略--物理分区操作
  • 「Mac畅玩鸿蒙与硬件36」UI互动应用篇13 - 数字滚动抽奖器
  • 模拟实现单链表 —— SingleLinkedList
  • 【模电】常见电路参数计算
  • 【Linux课程学习】：站在文件系统之上理解：软硬链接，软硬链接的区别
  • 华为欧拉操作系统认证
  • 17 go语言（golang） - 错误处理
  • 【实战】Oracle基础之控制文件内容的5种查询方法
  • com.github.gavlyukovskiy依赖是做什么的呢？
  • 关于单片机的原理与应用！
  • DJ秀 4.4.9 | 去除广告专业DJ音乐播放
  • python学习笔记2
  • WPF指示灯的实现方式
  • 【IntelliJ IDEA 中 Run Dashboard 不显示端口号问题解决办法】
  • 基于 echart+ redis 的刷题日历项目设计与实现
  • list（概念和简单应用）
  • 【leetcode100】矩阵置零
  • 23种设计模式之组合设计模式
  • CTF-PWN: 全保护下格式化字符串利用 [第一届“吾杯”网络安全技能大赛 如果能重来] 赛后学习
  • 题海拾贝——环状序列（ACM/ICPC Seoul 2004，UVa1584）
  • 代码设计：设计模式：应对变化
  • Vue：使用 KeepAlive 缓存切换掉的 component
  • 【机器学习】机器学习学习笔记 - 无监督学习 - k-means/均值漂移聚类/凝聚层次聚类/近邻传播聚类 - 05
  • 【JavaScript】下拉框的实现
  • leetcode530：二叉搜索树的最小绝对值差