【DL-1】BP神经网络
目录
- 简述
- 算法过程
- 总结
一、简述
1.1 来源：
大脑是由处理信息的神经元细胞和连接神经元的细胞进行信息传递的突触构成的。树突(Dendrites)从一个神经元接受电信号，信号在细胞核(Cell Body)处理后，然后通过轴突(Axon)将处理的信号传递给下一个神经元。
计算机处理信息类比为输入向量，通过加权求值线性得出，再经过非线性变换输出一个标量。如下图所示：
图1.1-生物和计算机神经元
1.2 介绍：
BP(back propagation)神经网络是这样一种神经网络模型，它是由一个输入层、一个输出层和一个或多个隐层构成，它的激活函数采用sigmoid函数，采用BP算法训练的多层前馈神经网络。
1.3 基本思想：
BP算法全称叫作误差反向传播(error Back Propagation，或者也叫作误差逆传播)算法。其算法基本思想为：在1.2所述的前馈网络中，输入信号经输入层输入，通过隐层计算由输出层输出，输出值与标记值比较，若有误差，将误差反向由输出层向输入层传播，在这个过程中，利用梯度下降算法对神经元权值进行调整。
与感知机非常类似，区别在于激活函数（即是上图的f函数，感知机使用如下图的（a）阶跃函数，BP神经网络使用（b）Sigmoid函数，以后学习其它CNN/RNN等神经网络还会学习其它激活函数，如ReLu等，常见激活函数可见另一篇博文：传送门）。
二、算法过程
算法过程主要包含三个方面：正向传播，反向传播和梯度下降。
神经网络其实就是一种求解W的算法，分为信号"正向传播(FP)"求损失，"反向传播(BP)"回传误差；根据误差值修改每层的权重，继续迭代
2.1 正向传播：
则每一层的输出向量的计算可以表示为：
这就是正向传播的过程，通过输入到达输出。
2.2 方向传播：
首先根据要求定义损失函数，再求解损失函数降低的过程。以下为定义损失函数的几种形式：
确定好损失函数，则根据损失函数降低的方向进行替换，对于1.1中的每一个参数V，进行如下迭代：
下面列举两个参数的梯度下降的求解过程（主要根据链式法则）：
那么，现在开始算总误差对w1的偏导：
2.3 梯度下降
梯度下降，有三种形式（（Stochastic Gradient Descent，简称SGD）、（Mini-batch Gradient Descent，简称MBGD）、（Batch Gradient Descent，简称BGD）），详细可见另一篇博文：传送门。
三、总结：
深度学习的本质：给定一组数据<X,Y>，试图找到映射关系 f ，使得 Y=f(X)
缺点：
3.1、局部极小值问题
3.2、算法训练非常慢：BP算法本质上是梯度下降，而它所要优化的目标函数又非常复杂，这使得BP算法效率低下。
参考文献：
https://www.jianshu.com/p/c5cda5a52ee4
https://zhuanlan.zhihu.com/p/38006693
面试问题：正向传播 – 激活函数的作用
简单的线性变换已经能够根据权重来将信息复合起来，为什么还要使用激活函数呢？
– 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线
性组合。
– 只有激活函数才能给神经元引入非线性因素，使得神经网络可以逼近非线性函数，当网络足够复杂的时
候就可以逼近任意函数
– 这样神经网络就可以应用到众多的性模型中（无论是线性模型还是非线性模型）
轻松一刻--历史:
1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如"异或"(XOR )这样的基本问题,而且对多层网络也持悲观态度。这些论点给神经网络研究以沉重的打击,很多科学家纷纷离开这一领域,神经网络的研究走向长达10年的低潮时期。
1974年哈佛大学的Paul Werbos发明BP算法时，正值神经外网络低潮期，并未受到应有的重视。
1983年，加州理工学院的物理学家John Hopfield利用神经网络，在旅行商这个NP完全问题的求解上获得当时最好成绩，引起了轰动[2]。然而,Hopfield的研究成果仍未能指出明斯基等人论点的错误所在,要推动神经网络研究的全面开展必须直接解除对感知器——多层网络算法的疑虑。
真正打破明斯基冰封魔咒的是，David Rumelhart等学者出版的《平行分布处理:认知的微观结构探索》一书。书中完整地提出了BP算法,系统地解决了多层网络中隐单元连接权的学习问题,并在数学上给出了完整的推导。这是神经网络发展史上的里程碑，BP算法迅速走红，掀起了神经网络的第二次高潮
