BurstAttention:可对非常长的序列进行高效的分布式注意力计算

提高llm中注意力机制效率的努力主要集中在两种方法上:优化单设备计算和存储能力,如FlashAttention,以及利用多设备的分布式系统,如RingAttention。

FlashAttention通过使用静态随机存储器(SRAM)来存储中间状态,而不是依赖于高带宽存储器(HBM)来提高注意力计算速度。

而RingAttention通过将长序列划分为子序列并将其分布在多个设备上进行并行处理来处理长序列。

虽然它们都提高了处理速度和效率,如果将它们组合起来使用是否可以有更大的提高呢?理论上是这样,但是在分布式环境中直接组合这两种方法无法充分利用它们的优势,并且存在兼容性问题。

而最新的研究BurstAttention可以将2者结合,作为RingAttention和FlashAttention之间的桥梁。

BurstAttention是一个创新的框架,它优化了跨设备的计算和通信,增强了内存使用,最小化了通信开销,提高了缓存效率。

 

https://avoid.overfit.cn/post/5aacdef85b104ff0a9faea9ad84f2a95

posted @   deephub  阅读(25)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
历史上的今天:
2023-03-23 Huggingface微调BART的代码示例:WMT16数据集训练新的标记进行翻译
2022-03-23 特征工程:基于梯度提升的模型的特征编码效果测试
2020-03-23 生物学中的机器学习:使用K-Means和PCA进行基因组序列分析 COVID-19接下来如何突变?
点击右上角即可分享
微信分享提示