2022年9月18日
Fastformer: Additive Attention Can Be All You Need
摘要： 创新点： 本文根据transformer模型进行改进，提出了一个高效的模型，模型复杂度呈线性。 主要改进了注意力机制，出发点在于降低了注意力矩阵的重要程度，该方法采用一个（1*T）一维向量替换了原始T*T大小的注意力矩阵。 注意力结构图： 在这里，输入同样通过不同的线性映射得到Q,K,V，然后通过Q 阅读全文
posted @ 2022-09-18 13:48 Uriel-w 阅读(125) 评论(0) 推荐(0) 编辑