摘要：
【NeurIPS2022】ScalableViT: Rethinking the Context-oriented Generalization of Vision Transformer 这篇论文来自清华大学深圳研究生院和字节跳动。 从Swin开始，attention一般都包括局部 window 阅读全文
摘要：
这个论文的核心贡献是提出了一种新的注意力机制 HiLo（High / Low frequency）。如下图所示，在上面部分，分配了 $1-\alpha$ 比例的 head 用于提取高频注意力，下面分配了 $\alpha$ 比例的 head 用于提取低频注意力。 高频注意力： 在2x2的窗口中计算 a 阅读全文