卷积神经网络（LeNet）

目录

• 1. 卷积神经网络（LeNet）
  • 1.1 LeNet

1. 卷积神经网络（LeNet）

$LeNet$ 最早的卷积神经网络之一（$1989$ 年提出）。用于银行支票上手写数字识别（$1998$ 年杨立坤教授提出）。

1.1 LeNet

$LeNet$ $(LeNet-5)$ 由两部分组成：

• 卷积编码器：由 $2$ 个卷积层。
• 全连接层密集块：由 $3$ 个全连接层组成。

• 第一个卷积层有 $6$ 个输出通道，第二个卷积层有 $16$ 个输出通道。这是因为第二个卷积层比第一个卷积层的输入的高和宽要小，所以增加输出通道使两个卷积层的参数尺寸类似。

• 卷积核大小都为 $5 \times 5$、步长 $stride=1$；池化窗口都为 $2 \times 2$、步长 $stride=2$。

• $LeNet-5$ 网络由 $2$ 个卷积层、$2$ 个池化层（下采样）以及 $2$ 个全连接层、$1$ 个输出层共 $7$ 层（不包括输入层）组成。先用卷积层学习图片空间信息，然后通过池化层降低图片敏感度，最后用全连接层来转换到类别空间。

• 每个卷积块中的基本单元是一个卷积层、一个 $sigmoid$ 激活函数和平均池化层（虽然 $ReLU$ 和最大池化层更有效，但当时没出现）。

• 卷积的输出形状由批量大小、通道数、高度、宽度决定。