BP神经网络

作者：桂。

时间：2017-08-19  22:40:05

链接：http://www.cnblogs.com/xingshansi/p/7398396.html 

---

前言

BP与RBF是分析基本神经网络的两个概念，最近接触到这些概念（目前的认识是：用在矩阵分析中减少计算量），简单梳理一下。

这里记录基本的BP神经网络，神经网络的基础是感知器，这里的BP(back propagation )算法是求解神经网络参数的一种实现思路。

一、算法简介

　　任何从输入到输出的连续函数都可以用一个三层非线性网络实现，条件是给出足够多的隐单元数。BP的基本结构：

包括输入单元、输出单元、中间的各个层次称为隐单元，上面的网络结构可以表述为：

其中f(.)是判别函数，因为优化通常涉及到求导，所以平滑性对梯度下降类学习方法很有效，通常f(.)选取连续易求导的判别函数，如sigmoid。

反向传播主要利用误差项（正是因为：根据误差项，建立准则函数，进行参数优化，而误差只能从输出计算，因而误差的计算顺序从后往前，也就是反向传播的概念，进而更新权重w。）。

由于涉及到梯度下降，因此针对参数求解的那一套改进这里也使用：如基于一阶导的随机梯度下降、批量梯度下降，基于二阶导的Newton-raphson等等。

 

二、BP的直观描述

 　　A-结构图及映射关系

首先借助一篇讲义来直观描述BP的思想：

BP的结构图：

结构图对应的映射关系：

　　B-神经网络的计算步骤

神经网络在参数给定的情况下，计算依旧是从输入→输出的顺序。

第一层：

第二层：

第三层：

 

 至此已经得到输出结果，可以根据训练数据的理想输出，计算误差（反向传播）。

　　C-误差反向传播

计算误差，开始反向传播：

反传至第二层：

反传至第一层：

 

至此完成了误差的反向传播，带入更新公式（也称为链式微分法则）。

　　D-利用BP更新权重的步骤

第一层：

第二层：

 

第三层：

B、C、D操作循环往复，直到满足迭代约束条件。

 

三、BP的参数推导及算法流程

　　A-理论推导 

为了方便，直接copy原文的图：

对应网络层的加权组合成为het。

设定准则函数J，这里选取常用的最小方差：

1-隐层到输出层

核心思路还是梯度下降法更新参数，使用链式微分法则：

其中单元k的敏感度（sensitivity）定义为：

敏感度描述总误差怎样随着单元的激发而变化。

同样是链式法则（其实就是逐层推进）：

而

从而计算出更新准则：

2-输入层到隐层

与上面的步骤类似：

后两项可以直接得出，主要是计算第一项求解，分析链式流程：J→z→net_k→y，从而有：

定义隐单元的敏感度：

从而得到学习规则：

至此，完成了整个网络的权重更新过程。

　　B-算法流程

 这里给出两种基本的实现思路，一是基于随机梯度下降，二是基于批量梯度下降，更多求解思路可以参考梯度下降法的思路。

1-随机梯度下降

2-批量梯度下降

 

 　　C-算法推广

BP的思路可以直接推广至：

• 输入单元包含偏置bias单元；
• 允许输入单元直接与输出单元和隐单元相连
• 网络多于三层
• 不同层有不同的非线性函数f(.)
• 每个单元有它各自的非线性函数f(.)

参考

• http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html
• 《模式分类》第二版，p235~240.