Fork me on GitHub

上采样 特征金字塔 valid池化/卷积等

上采样

在卷积神经网络中,由于输入图像通过卷积神经网络(CNN)提取特征后,输出的尺寸往往会变小
而有时我们需要将图像恢复到原来的尺寸以便进行进一步的计算(如图像的语义分割),这个使图像由小分辨率映射到大分辨率的操作,叫做上采样。

上采样的几种方法:双线性插值(bilinear),反卷积(Transposed Convolution),反池化(Unpooling)
上采样方法很多,上采样几乎都是采用内插值方法,即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素,总之是把feature大小扩大了一倍

特征金字塔FPN 图像金字塔

将不同尺度图片进行特征提取,再进行图像融合
小物体本身具有的像素信息较少,在下采样的过程中极易被丢失,为了处理这种物体大小差异十分明显的检测问题,经典的方法是利用图像金字塔的方式进行多尺度变化增强,但这样会带来极大的计算量。所以提出了特征金字塔的网络结构,能在增加极小的计算量的情况下,处理好物体检测中的多尺度变化问题。
image

特征金字塔做的是简单的拼接(也就是上采样与下采样的相加),也就是特征矩阵的串联。Unet做的是cat,也就是一个通道变成两个通道的维度扩展。

反卷积

image

空间金字塔池化

解决输入大小不同的问题

Same卷积:当卷积核开始接触图像时候就开始做卷积 (同理,same pooling是当部分接触的时候就开始进行池化)
image
valid卷积:当卷积核全部落入图片内部的时候才开始进行卷积操作 (同理,valid pooling是当完全接触的时候才开始进行池化操作)
image

posted @ 2024-03-06 18:22  sy-  阅读(42)  评论(0编辑  收藏  举报