InternImage网络解析

引入了CAT(交叉注意力)，可变性卷积DCNv3与droppath(类似于dropout（随机舍弃特征即神经元），随机舍弃分支网络)

Cross Attention

在本文中，我们在 Transformer 中提出了一种新的注意力机制，称为 Cross Attention，它在图像块内而不是整个图像中交替注意以捕获局部信息，并在从单通道特征图划分的图像块之间应用注意力捕获全局信息

可变性卷积

Deformable Conv 在感受野中引入了偏移量，而且这偏移量是可学习的，我这招可以使得感受野不再是死板的方形，而是与物体的实际形状贴近，这样之后的卷积区域便始终覆盖在物体形状周围，无论物体如何形变，我加入可学习的偏移量后通通搞定！

可变形卷积 vs 标准卷积

上图(a)中绿色的点代表原始感受野范围，(b)、(c)和(d)中的蓝色点代表加上偏移量后新的感受野位置，可以看到添加偏移量后可以应对诸如目标移动、尺寸缩放、旋转等各种情况。

DropPath原理

DropPath提供了一种针对网络分支的网络正则化方法，其实DropPath与DropOut，DropConnect差不多，都是通过生成一系列的mask对网络结构进行选择。mask为1的地方，保留相应的网络结构；mask为0的地方，使该部分网络结构失效。不同的是，DropPath作用的是网络分支，而DropOut作用的是featureMap，DropConnect作用的是参数。