2023年8月24日
大模型面试复习
摘要： 1.MHQ和MQA MultiQuerySelfAttention： MHQ和MQA的不同之处仅仅在于每个头共享相同的K、V权重而Q不同享。 2.FlashAttention：核心是减少self-attention计算过程中对gpu存储单元HBM的访问，HBM的特点是存储大，但是访问速度慢，atte 阅读全文
posted @ 2023-08-24 22:29 15375357604 阅读(399) 评论(0) 推荐(0) 编辑