CCNet: Criss-Cross Attention for Semantic Segmentation 里的Criss-Cross Attention计算方法
论文地址：https://arxiv.org/pdf/1811.11721v1.pdf code address: https://github.com/speedinghzl/CCNet
相关论文：https://arxiv.org/pdf/1904.09229.pdf 《XLSor: A Robust and Accurate Lung Segmentor on ChestX-Rays Using Criss-Cross Attention and CustomizedRadiorealistic Abnormalities Generation》
扩展论文：https://github.com/NVlabs/MUNIT https://arxiv.org/abs/1804.04732 《Multimodal Unsupervised Image-to-Image Translation》
看第二个论文时，使用了论文一作为分割网路，论文三作为数据增强的手段。其实论文三是 style transform, pixel2pixel 最新工作，以后再看。
论文二中使用了CCNet这个新的网络结构，为了搞清楚CCA到底是怎么计算的，只能肯原始论文一：
这就是CCA的计算方式
H是一个 C通道 宽高 W,H的特征图
从出发有四条路径，最上边的是 残差结构 或者叫shortcut path(高速通道) 目的地是和Aggregation相加 那么这里 Aggregrateion就必须和H通样的形状 C*H*W
残差结构就是公式（2）。 那个求和就是 符号部分就是Aggregation做的
要理解Aggregation就要看从H 分出的下三路
最下边一路V没什么好看的 直接对 H做1*1的卷积，输出还是 和H相同的形状 C*H*W
Q,K也是1*1卷积 只不过 通道数量是： C' < C 。
Q和K都是 C'*H*W 大小的特征图
下边就是高能的Affinity, 可以看到affinity后softmax得到A ，而A的结构是 （W+H-1)*W*H
A有 W+H-1个通道，所以Affinit后的结构也是 (W+H-1)*W*H
因为 A 和 Q K 的宽度和高度相同。每个位置u，u可以认为是二维特征图w,h上的一个像素。
由于CNN的对称性。只需要关注某一个位置u的计算方式即可。
这时候我们拿Q 上的一个位置 u ，我们知道在u这个位置看下去 是一个 C' 维度的向量。 记作Qu 维度 C‘
这时候要A中对应u的地方应该是由 Qu 和 K作用而来 ，由于A对应的维度是 （W+H-1)维
W+H-1 刚好是位置u 所在 行数+列数 方向的像元总数，自己算了两次减去一次。 就是下图中十字的形状。这个十字形状
就是H+W-1
那么从向量 Qu 和 K中的 H+W-1个向量 需要得到一个 （H+w-1）的向量
因为 Qu 和 K中的向量维度相同 我们把K中的H+W-1个向量 编号为 Ku1 ku2, ku(h+w-1)
那么 Au= ((Qu* Ku1 , Qu*Ku2， Qu*Ku3, Qu*Ku4, ... ,... Qu*Ku(h+w-1)) 就是这样 Qu*Kui 表示 Qu和Kui的内积
其实这样算完之后还在通道方向做了个softmax。
这样就算把A算完了
A最终得到的形状是 （H+W-1)*H*W 每个通道表示attention 因为经过softmax了，就是概率了。
接下来就是A和V的结合 Aggregation ,就是公式2的 求和部分
V的通道数是 C
那么这个和上边的操作有点像，这次只不过从内积变成了 线性组合
这里方便起见以A为中心，
对应于位置u
从A看下去是 H+W-1维的向量
V中对应位置 u，同样找到过他的横竖两条线段，同样是个十字形状有 H+W-1个向量 每个向量是 C维
这时候 用A中的 向量作为系数， 作用到 V中的H+W-1个向量 加起来，就是线性组合啊。 得到一个 C维的向量，这个向量是V中十字领域向量的线性组合
这样Aggreation就是2是中的 求和一项做的完成 Aggreation。
以上就是CCA, 作者还证明了 两个CCA就能够获取全局视野。不看了我。
效果很好，取得很好的结果。
CNN发明以来，各种矩阵操作。
问题是Aggregation部分不就是个卷积吗，十字形状的卷积。
通常的卷积是同位置不同通道的卷积的参数不同。
这个整的是不同位置的卷积核不同，但是在通道上相同。
汗啊，CNN快要被玩坏了。
