2023年7月21日
FlashAttention算法简介
摘要： # 1. Motivation 不同硬件模块之间的带宽和存储空间有明显差异，例如下图中左边的三角图，最顶端的是GPU种的SRAM，它的容量非常小但是带宽非常大，以A100 GPU为例，它有108个流式多核处理器，每个处理器上的片上SRAM大小只有192KB，因此A100总共的SRAM大小是192KB 阅读全文
posted @ 2023-07-21 14:46 marsggbo 阅读(1214) 评论(0) 推荐(0) 编辑