论文推荐：CCNet用于语义分割的交叉注意力

CCNet， Transformer递归交叉自注意力，比非局部神经网络更有效。华中科技大学、地平线、ReLER 和伊利诺伊大学香槟分校联合研发

论文提出了交叉网络 (CCNet)，对于每个像素，CCNet 中的一个新的交叉注意力模块收集其交叉路径上所有像素的上下文信息。通过进一步的递归操作，每个像素最终都可以从所有像素中捕获完整图像的依赖关系。与 Non-Local Neural Network 相比，CCNet 使用的 GPU 内存减少了 11 倍，FLOP 减少了约 85%。TPAMI的CCNet，进一步增强了更好的损失函数，扩展到3D情况。

https://avoid.overfit.cn/post/b5cfb577af0248f1b12a63d8c3b10928