卷积神经网络（LeNet）
1. 卷积神经网络（LeNet）
\(LeNet\) 最早的卷积神经网络之一（\(1989\) 年提出）。用于银行支票上手写数字识别（\(1998\) 年杨立坤教授提出）。
1.1 LeNet
\(LeNet\) \((LeNet-5)\) 由两部分组成：
- 卷积编码器：由 \(2\) 个卷积层。
- 全连接层密集块：由 \(3\) 个全连接层组成。
-
第一个卷积层有 \(6\) 个输出通道，第二个卷积层有 \(16\) 个输出通道。这是因为第二个卷积层比第一个卷积层的输入的高和宽要小，所以增加输出通道使两个卷积层的参数尺寸类似。
-
卷积核大小都为 \(5 \times 5\)、步长 \(stride=1\)；池化窗口都为 \(2 \times 2\)、步长 \(stride=2\)。
-
\(LeNet-5\) 网络由 \(2\) 个卷积层、\(2\) 个池化层（下采样）以及 \(2\) 个全连接层、\(1\) 个输出层共 \(7\) 层（不包括输入层）组成。先用卷积层学习图片空间信息，然后通过池化层降低图片敏感度，最后用全连接层来转换到类别空间。
-
每个卷积块中的基本单元是一个卷积层、一个 \(sigmoid\) 激活函数和平均池化层（虽然 \(ReLU\) 和最大池化层更有效，但当时没出现）。
-
卷积的输出形状由批量大小、通道数、高度、宽度决定。
