学习笔记——卷积神经网络概念

卷积神经网络：以卷积层为主的深度网络结构（卷积层、激活层、BN层、池化层、FC层、损失层）

卷积层：对图像和滤波矩阵进行内积运算（逐个元素相乘在求和）卷积后得到一个特征图

步长：？ｓｔｒｉｄｅ

下采样？减少？

上采样？：扩展？

padding：对边缘填充

ｄｉｌａｔｉｏｎ：空洞卷积，分割网络中会用，其他网络中不用，膨胀，不经过下采样，增加感受野

ｋｅｒｎｅｌ一般用３＊３

ｐｙｔｏｒｃｈ里函数ｎｎ．Ｃｏｎｖ２Ｄ

常见的卷积操作：

１、分组卷积（ｇｒｏｕｐ参数）

２、空洞卷积（ｄｉｌａｔｉｏｎ参数）

３、反卷积：上采样

４、深度可分离卷积（分组卷积＋１＊１卷积）

５、可变形卷积等：卷积和的ｓｈａｐｅ不固定

６、标准卷积

４和６用的比较多

感受野：

加深网络可以增加非线性表达能力，增加参数量

如何理解卷积层的参数量和计算量——参数量：参与计算参数的个数，占用内存空间，ＦＬＯＰS：每秒浮点数计算的次数，衡量硬件性能；计算速度

Ｆｌｏｐｓ：计算量

如何压缩卷积层参数和计算量？

１、采用多个３＊３卷积核代替大卷积核

２、采用深度可分离卷积

３、通过ｓｈｕｆｆｌｅ

４、pooling

５、ｓｔｒｉｄｅ＝２

常见卷积层结构组合：堆叠（VGG）；跳连（Ｒｅｓｎｅｔ，加快模型收敛）；并联（inception）

池化层：对输入的特征图进行压缩——１、使特征图变小，简化网络的计算复杂度；２、特征压缩，提取主要特征

最大池化；平均池化。非线性ｎｎ．Ｍａｘｐｏｏｌ２ｄ

上采样：方法一：Ｒｅｓｉｚｅ，双线性插值直接缩放，类似于图像缩放

　　　　方法二：反卷积

５.７激活层：

增加网络的非线性，进而提升网络的表达能力。Relu等，ｔｏｒｃｈ．ｎｎ．Ｒｅｌｕ（ｉｎｐｌａｃｅ＝ＴＲＵＥ）

ＢａｔｃｈＮｏｒｍ层

通过一定的规范化的手段，把每层的神经网络任意神经元这个输入值的分布强行拉回到均值为０，方差为１的标准正态分布，是归一化的一种手段，减少图像之间的绝对差异，加快训练速度。不适用问题：ｉｍａｇｅ－ｔｏ－ｉｍａｇｅ以及对噪声敏感的任务

全连接层：线性模块

连接所有特征，将输出值送给分类器，对图像尺寸敏感。参数多，配合ｄｒｏｐｏｕｔ，抑制一些特征，ｅｍｂｅｄｉｎｇ，

１、对前一层的特征进行一个加权和（卷积层将数据输入映射到隐层的特征空间）将特征空间通过线性变换映射到样本标记空间

２、可以通过１＊１卷积＋ｇｌｏｂｅｌ　ａｖｅｒａｇｅ　ｐｏｏｌｉｎｇ　代替

３、可以通过全连接层参数冗余

４、全连接层参数和尺寸有关

Ｄｒｏｐｏｕｔ层

１、在训练过程中随机扔掉一些神经元：减少参数，防止过拟合，使模型变得简单，结构最小化约束

２、测试过程中不适用随机激活，所有神经元都激活

３、防止或减轻过拟合使用的函数，一般用在全连接层

ｎｎ．ｄｒｏｐｏｕｔ

损失层：

设置一个损失函数用来比较网络的输出和目标值，通过最小化损失来驱动网络的训练。

网络的损失通过向前操作计算，网络参数相对于损失函数的梯度则通过反向操作（导数）计算

分类问题：交叉熵