摘要：
RMSProp 2013年Hinton在Coursera提出。 背景 RMSProp是Adagrad的升级版。 在训练神经网络时，损失函数不一定是凸函数（局部最小值即为全局最小值），可能是各种各样的函数，有时需要较大的学习率，有时需要较小的学习率，而Adagrad并不能实现这种效果，因此产生了RMS 阅读全文
摘要：
梯度消失（Vanishing Gradient Problem） 定义 1980年代常用的激活函数是sigmoid函数。以MNIST手写数字识别为例，在使用sigmoid函数时会发现随着神经网络层数增加，识别准确率逐渐下降，这个现象的原因并不是过拟合（原因见上文），而是梯度消失。 如上图所示，当神经 阅读全文