2023 年 3月 19 日随笔档案 - 写bug的程旭源

2023年3月19日

基于Pytorch2对比 FlashAttention、Memory-Efficient Attention、CausalSelfAttention

摘要：本文主要是Pytorch2.0 的小实验，在MacBookPro 上体验一下等优化改进后的Transformer Self Attention的性能，具体的有 FlashAttention、Memory-Efficient Attention、CausalSelfAttention 等。主要是tor 阅读全文

posted @ 2023-03-19 19:51 写bug的程旭源阅读(895) 评论(0) 推荐(0) 编辑