猪猪的机器学习（十九）卷积神经网络
卷积神经网络
作者：樱花猪
摘要：
本文为七月算法（julyedu.com）12月机器学习第十九次课在线笔记。卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
引言：
第十九和二十课进入了目前比较新又非常热门的深度学习中。在传统的机器学习中，通常是我们自己来寻找特征，而深度学习中我们通过神经网络来自主的学习特诊。在大量数据的前提下，深度学习往往能够比传统机器学习方法效果更好。
卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
课程比较注重实践的讲解，通过课程能快速的搭建一个自己的神经网络。
一、卷积神经网络：
首先将输入数据堪称三维的张量（Tensor）
引入Convolution（卷积）操作，单元变成卷积核，部分连接共享权重。
引入Pooling（采样）操作，降低输入张量的平面尺寸
卷积神经网络的最大优点：拥有某种特征学习的能力
二、网络结构
1、三维张量
一幅图我们认为有三维张量分为长、宽、和深度。这里深度在彩色图像中可以设置为3，R,G,B。
2、卷积
卷积的概念来自型号处理，我们在图像计算中也非常的常用。具体过程可以参见传统卷积方案。在卷积升级网络中，模板我们成为核Kernel。
3、三维张量卷积
这里，卷积核的深度和输入图像是一致的。每个卷积核都带有一个Bias。
4、激活函数
卷积以后会产生一个激活函数，这个激活函数跟人工神经网络类似。
5、Pooling操作（采样）
采样操作改变图像的尺寸，通过Pooling操作能够逐层吧图像尺寸降下来，减少维度。
三、卷积网络的设计
1、设计方式：
尽量使用3×3的卷积核，甚至更小，滑动因子取1。
使用Pooling(2x2)对网络进行1/4下采样
采用多层次架构，采用残差结构实现更深的网络。
2、残擦网络结构
3、复杂网络的BP计算
同传统人工神经网络一样，核心依然是链式法则，利用框架搭建网络并对自己实现的结构，严格用数值计算验证。
4、基于层次的特征学习
层次越高越模糊。
四、CNN实验（参照课堂讲解）
参考文献：
http://blog.csdn.net/zouxy09/article/details/9993371
http://www.36dsj.com/archives/24006
