深度学习基础：1x1的卷积

阅读目录

1.跨通道的特征整合
2.特征通道的升维和降维
3.加入非线性。
4. 引入非线性
5. 减少参数
6. 1x1的卷积可以代替全连接层
总结：

1.跨通道的特征整合

比如：输入的特征是16x64x64，其中16是通道数，假如我们想要把16个通道的信息进行融合，最后输出的8个特征，那我们就需要8个 $16 \times 1 \times 1$ 的卷积核，然后输出的特征就是 $8 \times 64 \times 64$ 。这个8个 $16 \times 1 \times 1$ 是将16个通道的每个高宽进行卷积之后再相加的。

回到顶部

2.特征通道的升维和降维

和上面的例子一样，比如说输入的特征是 $16\times64\times64$ ，输出通道为 $8 \times 64 \times 64$ ,这个例子相当于降维。然后如果我们输入的通道是 $16 \times 64 \times 64$ ，这个就是升维。

回到顶部

3.加入非线性。

卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非线性激励（ non-linear activation ），提升网络的表达能力。

回到顶部

4. 引入非线性

卷积层之后经过激活函数，1* 1的卷积在前一层的学习表示上加了非线性激活，提升网络的非线性；

回到顶部

5. 减少参数

不引入1×1卷积的卷积操作：

引入1×1卷积的卷积操作：

我们发现引入1*1卷积比不引入少了一个数量级。

回到顶部

6. 1x1的卷积可以代替全连接层

我们以单通道的 $3 \times 3$ 的特征图为例子：

1	2	3
4	5	6
7	8	9

然后我们把该特征图开成一维（9个）

1
2
3
4
5
6
7
8
9

上面是一个神经元的输出，我们可以发现，全连接层其实就是一个全局的卷积，就是等于：

就等于 $1 \times w_1+ 2 \times w_2+3 \times w_3+4 \times w_4+5 \times w_5+6 \times w_6+7 \times w_7+8 \times w_8+9 \times w_9$
然后我们再来看看 $1 \ times 1$ 卷积是怎么做的？

然后卷积后的结果为 $1xw+2xw+...+9xw$ 。然后如果输出是4类别的化，我们可以用4个 $1 \times 1$ 的卷积。我们发现，其实也是差不多的，只是卷积的w是共享参数的。
对于多维的：
下面是一个[2,2,2]的特征矩阵，通道数为2。全连接之后：

下面用4个 $1 \times 1$ 的矩阵进行卷积：

我们发现其实差不多的。
但是全连接层会破坏图像的空间结构，用 $1\times1$ 卷积层的好处就是不会破坏图形的空间结构，并且可以起到升维、降维的作用。

回到顶部

总结：

把卷积作用的区域扩大为整个输入，那就变成全连接了，所以我们只需要把卷积核变成跟输入的一个map的大小一样就可以了，这样的话就相当于使得卷积跟全连接层的参数一样多。卷积核的个数*卷积核的大小=全连接的权重矩阵
用1*1卷积层可以起到升维、降维的作用
全连接层会破坏图像的空间结构，而1*1卷积层不会破坏图像的空间结构。
全连通就相当于每个像素点都一样对待，但是卷积是将一个区域单独对待，所以会保留图像局部特征