CrossFormer: A Versatile Vision Transformer Hinging on Cross-scale Attention
https://arxiv.org/abs/2108.00154
https://github.com/cheerss/CrossFormer
这是视觉的Transformer
演进过程:VIT---PVT---CrossFormer
- VIT没有考虑多尺度信息
- PVT通过特征下采样集成了多尺度信息
- CrossFormer基于跨尺度注意力机制的视觉Transformer
相关资料:
- 【ICLR2022】CrossFormer: A versatile vision transformer - 高峰OUC的文章 - 知乎
https://zhuanlan.zhihu.com/p/468485931 - Transformers系列--浅谈CrossFormer - FlyEgle的文章 - 知乎
https://zhuanlan.zhihu.com/p/397792653