flash-attention 安装

hf 调某些大模型时发现需要 flash-attention 库

参考官网:
https://github.com/Dao-AILab/flash-attention

安装好 pytorch 以后:

pip install packaging
pip install ninja
MAX_JOBS=4 pip install flash-attn --no-build-isolation
posted @ 2024-12-18 16:56  Cold_Chair  阅读(21)  评论(0编辑  收藏  举报