2024年3月7日
LLM 加速技巧：Muti Query Attention
摘要： MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。 在介绍MQA 之前，我们先回顾一下传统的多头注意力 Mult 阅读全文
posted @ 2024-03-07 09:44 deephub 阅读(30) 评论(0) 推荐(0) 编辑