BP神经网络的手写数字识别
BP神经网络的手写数字识别
ANN 人工神经网络算法在实践中往往给人难以琢磨的印象，有句老话叫“出来混总是要还的”，大概是由于具有很强的非线性模拟和处理能力，因此作为代价上帝让它“黑盒”化了。作为一种general purpose的学**算法，如果你实在不想去理会其他类型算法的理论基础，那就请使用ANN吧。本文为笔者使用BP神经网络进行手写数字识别的整体思路和算法实现，由于近年来神经网络在深度学**，尤其是无监督特征学**上的成功，理解神经网络的实现机制也许可以让“黑盒”变得不再神秘。
首先，作为一篇面向机器学**爱好者的文章，基本的理论介绍还是必要的。BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学**过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学**的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学**训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学**次数为止。
网络结构
输入层有n个神经元，隐含层有p个神经元，输出层有q个神经元。
变量定义
参数训练
算法流程
图像预处理与归一化
好了，理论介绍完了，接下来看看如何识别手写数字。
输入样本示例
输入样本为书写数字的图像,数据下载百度网盘链接：http://yun.baidu.com/s/1nt3UewD
本文采用逐像素特征提取的方法提取数字样本的特征向量。将像素点RGB值之和大于255的像素点，特征值设为1，反之设为0。归一化的图像生成一个28x28的布尔矩阵，依次取每列元素，转化为784x1的列矩阵，作为输入图像的特征向量。
模型训练与模型识别
BP神经网络模型参数设置
样本描述：
受训练样本限制，本文仅对0,1,2,3,4这5个数字进行识别。每个数字对应训练样本与测试样本数量如下表
模型评估
程序设计参考（Java）
public class AnnModel：前反馈神经网络模型
主要成员变量
public HiddenNeuron[] hiddenLayer;
//隐含层神经元数组
public OutputNeuron[] outputLayer;
//输出层神经元数组
publicintinputLayerSize,hiddenLayerSize,outputLayerSize;
//输入层神经元个数、隐含层神经元个数、输出层神经元个数
主要方法
public BPAnnModel(intinputLayerSize,inthiddenLayerSize,int outputLayerSize)
//根据输入层、隐含层与输出层神经元个数，初始化隐含层与输出层各神经元，构造网络模型
publicdouble[] calculateHiddenLayerOutput(double[] inputLayer)
//根据输入层计算隐含层输出
publicdouble[] calculateModelOutput(double[] inputLayer)
//根据输入层计算输出层输出
public String getOutputClass(double[] inputLayers)
//根据输入层预测分类结果
publicvoidsave(String modelSavePath)
//将模型的训练结果保存到文本文件中
publicstatic BPAnnModel load(String modelSavePath)
//从保存训练结果的文本文件中读取模型参数，创建神经网络模型实例
public class Neuron：神经元超类
主要成员变量
publicdoubletheta=0.2;
//theta 为神经元兴奋度阈值
publicdouble[] weight;
//权值向量
publicdoublemu=0.1;
//mu为梯度下降的学**速率
publicintidx;
//idx为神经元在其所在层的索引位置
主要方法
public Neuron(intweightArrLength,intidx)
//根据权值向量长度初始化权值向量，构造神经元实例，this.idx=idx
publicdouble calculateActivation(double[] layerInput)
//根据神经元输入计算净活跃度
publicdouble calculateOutput(double[]layerInput)
//根据神经元输入计算神经元输出
publicdouble logisticSigmod(doublefixedActivation)
//激活函数
publicdouble logisticSigmod_1(doubleoutput)
//激活函数一阶导数
public class HiddenNeuron：隐含层神经元，Neuron子类
publicvoidupdateWeight(double[] inputLayer, double[]yArr,
double[] tmpHiddenLayerOutput,
double[] tmpModelOutput)
//根据网络模型输入层、期望输出、隐含层输出与输出层修正权值向量
public class OutputNeuron：输出层神经元，Neuron子类
publicvoidupdateWeight(double[] inputLayer, double[]yArr)
//根据网络模型输入层和期望输出修正权值向量
public class BP：BP神经网络训练主程序
主要成员变量
publicdoubleepsilon=0.005;
//训练停止的最小误差
publicintcurTrainingTimes=0,maxTrainingTimes=50000;
//当前训练次数与最大训练次数
public BPAnnModel model;
//神经网络模型
publicdouble[][] trainData;
//训练数据集
主要方法
publicvoidsetModel(BPAnnModel model)
//加载权值已训练好的神经网络模型
publicvoidsetTrain(String trainPath,String varType,Stringdelimiter)
//输入训练数据文件与文件格式生成训练数据集
publicvoidtrain()
//执行训练过程
publicdouble calculateSingleError(double[] inputLayer,double[] yArr,boolean standardizeTrans)
//计算单训练点误差
publicdouble calculateGlobalError()
//计算全局误差
注意事项
1.输入样本归一化处理 由于模型输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长、模型不稳定。因此在进行训练之前通常需要对数据进行归一化处理。为了统一各层神经元的输入标准，采用S形激活函数时，激活函数的值域为 (0,1)，通常采用max&min的方法将变量映射成 (0,1) 之间的数；采用双极S形激活函数时，激活函数的值域为 (-1,1)，通常采用2(max&min)-1的方法将变量映射成 (-1,1) 之间的数。
2.减少计算全局误差的频次 每次迭代过程中，权值修正的效率只和网络的规模有关系，而计算全局误差消耗的时间则和样本量的大小直接成正比。在样本量较大的情况下，频繁的计算全局误差会带来及大的开销。为了提高训练效率，可以采取批量式的训练方法，即在第六步完成后，直接跳回第二步，进行指定次迭代后，再进入到第七步进行全局误差检验。
3.输出层定义 当目标变量有m个分类时，输出层的神经元个数通常有有两种定义方法，m或以2为底的log m。建议采用m作为输出层神经元个数，一方面可以很方便地从输出层输出信号映射到分类值；另一方面可以给出分类结论的“置信度”。采用以2为底的log m作为输出层神经元个数时，通常采用输出信号的二进制表示去映射指定分类。
4.学**效率（梯度下降的步长）参数设定
学**效率直接影响着网络收敛的速度，以及网络能否收敛。学**效率设置偏小可以保证网络收敛，但是收敛较慢；反之则有可能使网络训练不收敛，影响识别效果。因此可以在误差快速下降后放缓学**效率，增强模型稳定性。
5.过拟合问题 神经网络计算不能一味地追求训练误差最小，这样很容易出现“过拟合”现象，只要能够实时检测误差率的变化就可以确定最佳的训练次数，比如在本文中25000次左右的学**次数即可在测试数据上达到最优效果，25000次之后的学**，不仅徒增计算量，而且还有过拟合的风险。
