深度学习的常见概念

常见的网络结构

卷积层与池化层通常交替出现，也有多个卷积层后一个池化层。

卷积加池化的组合重复M次后，提取到所有特征，再用K个全连接层将特征映射到O个输出特征；

再经过一个全连接层或softmax或两者都用，决定输出结果。

 

输入层：输入图像数据集

卷积层（convolutional layer）：通过卷积抽取出图像中的一些特征，相邻区域进行卷积计算

池 化 层 （pooling layer）：主动减小图片尺寸，从而减小参数数量和计算量，防止过拟合；包括 最大池化、平均池化、L2池化等

全连接层（full-connected layer）：分类器，将高维特征映射成一维特征向量，包含所有特征信息，最终用于分类

softmax层：对输出进行归一化处理，输出分类概率，作用：凸显较大值并抑制较小值，从而显著抑制次要特征

输出层：最终的分类结果

 

top-1与top-5错误率

top-1错误率：模型预测出的最高概率结果和真实标记不一致的数量，在总样本数据总量的比例。

top-5错误率：模型预测出的最高的前5个概率结果都和真实标记不一致的数量，在总样本数据总量的比例。

举例：输入图像的真实标记为狗，分类结果若为

1. 狗：0.9、猫 0.7、兔 0.5、猪 0.2、羊 0.1，则表示结果正确，不计入错误率；

2. 猫：0.9、狗 0.7、兔 0.5、猪 0.2、羊 0.1，则表示top-5结果正确，不计入top-5错误率；top-1结果错误，计入top-1错误率；

3. 狐：0.9、猫 0.7、兔 0.5、猪 0.2、羊 0.1，则表示top-5结果错误，计入top-5错误率；top-1结果错误，计入top-1错误率；

 

激活函数

损失函数