2024年10月21日
MoH：融合混合专家机制的高效多头注意力模型及其在视觉语言任务中的应用
摘要： 在深度学习领域,多头注意力机制一直是Transformer模型的核心组成部分,在自然语言处理和计算机视觉任务中取得了巨大成功。然而,研究表明并非所有的注意力头都具有同等重要性,许多注意力头可以在不影响模型精度的情况下被剪枝。基于这一洞察,这篇论文提出了一种名为混合头注意力(Mixture-of-He 阅读全文
posted @ 2024-10-21 09:18 deephub 阅读(53) 评论(0) 推荐(0) 编辑