flash_attn安装
1. cuda-nvcc安装
/nvidia/cuda-nvcc
2. torch安装
# /
# 找到对应cuda版本的torch进行安装
pip3 install torch torchvision torchaudio --index-url /whl/cu121
3. flash_attn安装
访问该网站，找到对应torch、python、cuda版本的flash_attn进行下载，并上传到服务器
/Dao-AILab/flash-attention/releases/
#例如python3.8 torch2.3 cuda12
pip install flash_attn-2.5.8+cu122torch2.3cxx11abiFALSE-cp38-cp38-linux_x86_64.whl
4. transform安装
如果出现该错误cannot import name ‘is_flash_attn_available’ from ‘’，可以参考
pip install transformers==4.34.1