摘要： 再进行Mini-batch 梯度下降法学习之前，我们首先对梯度下降法进行理解 一、梯度下降法（Gradient Descent） 优化思想：用当前位置的负梯度方向作为搜索方向，亦即为当前位置下降最快的方向，也称“最速下降法”。越接近目标值时，步长越小，下降越慢。 首先来看看梯度下降的一个直观的解释。 阅读全文

摘要： 什么为梯度检验？？？ 梯度检验可以作为检验神经网络是否有bug的一种方法，现神经网络的反向传播算法含有许多细节，在编程实现中很容易出现一些微妙的bug，但往往这些bug并不会影响你的程序运行，而且你的损失函数看样子也在不断变小。但最终，你的程序得出的结果误差将会比那些无bug的程序高出一个数量级，最 阅读全文

摘要： 为什么进行权重初始化？？？ 在深度学习中，神经网络的权重初始化方法对（weight initialization）对模型的收敛速度和性能有着至关重要的影响。神经网络其实就是对权重参数w的不停迭代更新，以期达到较好的性能。在深度神经网络中，随着层数的增多，我们在梯度下降的过程中，极易出现梯度消失或者梯 阅读全文