posts - 27,comments - 0,views - 4579

2023年3月19日

基于Pytorch2对比 FlashAttention、Memory-Efficient Attention、CausalSelfAttention

摘要：本文主要是Pytorch2.0 的小实验，在MacBookPro 上体验一下等优化改进后的Transformer Self Attention的性能，具体的有 FlashAttention、Memory-Efficient Attention、CausalSelfAttention 等。主要是tor 阅读全文

posted @ 2023-03-19 19:51 写bug的程旭源阅读(1002) 评论(0) 推荐(0) 编辑

2025年3月

日

一

二

三

四

五

六

昵称：写bug的程旭源
园龄： 4年1个月
粉丝： 0
关注： 0

+加关注

随笔分类

c++(1)
chatbot(1)
ChatGPT(1)
github(1)
python(1)
pytorch(1)
对话机器人(1)
马来西亚留学(1)
马来西亚旅游(1)
深度学习(1)
数学原理(1)
知识图谱(1)
自然语言处理(1)

随笔档案

2023年8月(1)
2023年3月(2)
2023年2月(2)
2023年1月(2)
2022年11月(2)
2022年10月(2)
2022年7月(1)
2021年9月(1)
2021年8月(1)
2021年7月(3)
2021年6月(1)
2021年2月(1)
2020年8月(4)
2020年6月(3)
2020年4月(1)

阅读排行榜

1. 基于Pytorch2对比 FlashAttention、Memory-Efficient Attention、CausalSelfAttention(1002)
2. pytorch Dataloader Dataset构建自定义数据集，流程和代码模板(679)
3. 高效率搭建环境：以RTX2080ti为例Windows安装CUDA+cuDNN；清华镜像安装anaconda+TensorFlowGPU+Pytorch。(360)
4. 知识图谱构建过程(305)
5. OTSU大津法图像分割自适应阈值c++实现（亲测可用）(228)

搜索

常用链接

我的标签

随笔分类

随笔档案

阅读排行榜