Windows 安装 flash-attention 和 bitsandbytes
-
首先保证cuda版本为12.1，torch版本为2.1.0及以上，python版本3.10以上
-
从此处下载最新版的whl，https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels，通过whl来安装bitsandbytes
-
从此处下载最新版的whl， https://github.com/bdashore3/flash-attention/releases, 通过whl来安装flash-attn
如果出现
CUDA SETUP: Problem: The main issue seems to be that the main CUDA library was not detected.
通常就是bitsandbytes的版本没装对，或者cuda版本不对。确保安装cuda12.1以及对应的torch，再从whl安装bitsandbytes，即可避免此问题。