Lecture 3 -- CNN
1. Fully Connected Layer v.s. Convolutional Layer
模型架构比较简单，不做赘述。
一个neuron负责同一大小的不同的receptive field，
负责同一大小receptive field的不同neuron之间参数不共享。
一个3x3的filter并不是只能看到原始图像上3x3大小的pattern，
当在feature map上应用3x3的卷积核时，相当于看到了原始图像上更大的区域。
池化层并不属于一个layer，因为它没有参数！
2. Application -- Alpha Go
目前越来越多的卷积网络架构不再使用池化层，因为池化层的主要目的是为了减少参数。
针对一些比较粗略的图像识别，或许使用池化层是合适的，因为一张图片除去某几行/几列，并不影响我们对图像内容的判断。
但是像Alpha Go就没有使用池化层，因为他的输入是一张棋盘，而棋盘除去某几行/几列，就破坏了整个棋局的完整性。
因此，我们是否应该使用池化层，应该根据实际的任务进行考虑！
3. Shortcoming
卷积无法很好的分辨经过缩放和旋转的图像，因此我们需要做数据增强！
有一种模型架构可以处理这个问题：Spatial Transformer Layer
END
