摘要：
0.前言 相关资料： arxiv github 论文解读 论文基本信息： 发表时间：arxiv2022(2022.9.29) 1.针对的问题 之前的方法通过局部注意力机制来降低计算复杂度，但这削弱了自注意力的两个最理想特性:长程相互依赖建模和全局感受野。 2.主要贡献 •引入DiNA，一个简单、灵活 阅读全文
摘要：
0.前言 相关资料： arxiv github 论文解读 论文基本信息： 发表时间：arxiv2022(2022.6.21) 1.针对的问题 视觉transformer计算复杂度和内存占用都是二次的，这主要是softmax归一化导致的，这使其无法处理高分辨率图像或细粒度图像patch。 2.主要贡献 阅读全文