flash-attention 安装
hf 调某些大模型时发现需要 flash-attention 库
参考官网:
https://github.com/Dao-AILab/flash-attention
安装好 pytorch 以后:
pip install packaging
pip install ninja
MAX_JOBS=4 pip install flash-attn --no-build-isolation
转载注意标注出处:
转自Cold_Chair的博客+原博客地址