『论文笔记』CARAFE: Content-Aware ReAssembly of FEatures

对上采样的优化：动态的选取新像素对哪些原有像素存在依赖

Large field of view. Unlike previous works (e.g. bilinear interpolation) that only exploit subpixel neighborhood, CARAFE can aggregate contextual information within a large receptive field.

Content-aware handling. Instead of using a fixed kernel for all samples (e.g. deconvolution), CARAFE enables instance-specific content-aware handling, which generates adaptive kernels on-the-fly.

上采样的两个主要用处：

1、密集预测任务输出尺寸匹配原图

2、不同尺度特征融合

相关上采样算法：

最近邻算法

双线性插值

反卷积

Pixel Shuffle

 

kernel prediction module 

channel compressor: the channel compressor reduces the channel of the input feature map.

content encoder: the content encoder then takes the compressed feature map as input and encodes the content to generate reassembly kernels. 

kernel normalizer: lastly, the kernel normalizer applies a softmax function to each reassembly kernel. 

content encoder部分的卷积为了平衡计算量和感受野，设置为kup-2。

相比之下，Content-aware Reassembly Module就简单很多，对每个上采样像素对应的原图位置领域进行加权：

 和DCN对比：

 两者都考虑到了几何信息，相对DCN本文更快，对初始值更不敏感

两者不同点还是挺大的，DCN分支1会预测分支2每个卷积核的偏移，分支2的卷积参数仍然要靠分支2去学习，这里分支1直接预测分支2的卷积参数了，分支2看起来本身没有需要学习的参数（卷积权重由待学习参数变成了网络预测中间结果了）。

怎么体现自适应：网络推理过程在不同图片上是不一样的，对DCN而言体现在卷积权重的位移，对本文则直接体现在了卷积权重本身的值上。