当前位置: 首页 > article >正文

Windows编译Flash-attention模块

博主的环境配置:windows11操作系统,cuda=11.8.r11.8, cudnn=8.9.7, git=2.47.1,cmake=4.0.0-rc4,ninja=1.12.1, vs_buildTools=17.4.21, cl=19.34.31948, torch=2.3.1

编译flash-attention的环境依赖如下图

flash-attention
git
msvc
ninja
cuda
cudnn
cmake
torch
  1. 查看安装cuda和cudnn。参考https://blog.csdn.net/m0_52111823/article/details/145379672?spm=1001.2014.3001.5501
  2. 查看cuda与Visual Studio的版本兼容情况
    1. 进入官网https://docs.nvidia.com/cuda/archive/
    2. 选择自己的cuda版本,cmd命令nvcc --version
    3. 搜索Installation Guide Windows,点击
    4. 搜索Visual Studio
  3. 安装指定版本的vs_buildTools
    1. 进入https://learn.microsoft.com/en-us/visualstudio/releases/2022/release-history#fixed-version-bootstrappers
    2. 搜索想要安装的版本,注意安装LSTC版本
    3. 下载相应的Build Tools
  4. 安装好MSVC,参考https://blog.csdn.net/m0_52111823/article/details/146292712?spm=1001.2014.3001.5502
  5. 下载cmake,git,ninja安装包,并将路径添加到环境变量中。
  6. 测试安装成功
    cl
    cmake --version
    git --version
    ninja --version
    nvcc --version
    
  7. 克隆flash-attention的项目到本地git clone https://github.com/Dao-AILab/flash-attention.git
  8. 进入环境,新建conda虚拟环境,安装torch2.3.1
  9. 修改setup.py中的max_num_jobs_cores,根据个人电脑核心数决定,增大该值可加快编译速度。
  10. 启动命令开始编译python setup.py bdist_wheel
  11. 在生成的文件夹dist下就存在whl文件flash_attn-2.7.4.post1-cp310-cp310-win_amd64.whl
  12. 安装whl文件,pip install ./dist/flash_attn-2.7.4.post1-cp310-cp310-win_amd64.whl

编译较慢,博主分享自己编译好的whl文件给大家。https://pan.baidu.com/s/1_SCUEjqbNDpioV7UGCWwfQ?pwd=78vx


http://www.kler.cn/a/588093.html

相关文章:

  • 于 Hexo + GitHub Pages 的搭建个人博客网站的详细教程
  • 失败的面试经历(ʘ̥∧ʘ̥)
  • 如何利用物理按键控制LVGL控件的大小与状态
  • 六十天前端强化训练之第二十天React Router 基础详解
  • python-数据类型字符串和列表
  • java学习总结(四)MyBatis多表
  • linux命令-wget与curl命令详解
  • 【Agent】OpenManus-Agent-BaseAgent详细分析
  • 85.HarmonyOS NEXT 网络请求与数据处理:构建可靠的数据层
  • 剖析sentinel的限流和熔断
  • “driver-class-name: com.mysql.cj.jdbc.Driver“报错问题的解决
  • Gitee重新远程连接仓库(Linux)
  • 【Redis】缓存穿透、缓存击穿、缓存雪崩
  • Leetcode2272:最大波动的子字符串
  • 文档搜索引擎
  • Gluten 项目贡献指南
  • 行为模式---模版模式
  • S32K144入门笔记(十):TRGMUX的初始化
  • 区块链知识点2
  • 3.水中看月