神经网络的小批量梯度下降(吴恩达)
首先应该理解到,梯度下降的最终目的就是使梯度为0,整个过程就是在神经网络计算下梯度朝向0梯度一步步前进,当全样本进行一次计算的时候成为一轮
梯度下降的方式有
批量梯度下降:即对全样本进行梯度下降计算,一轮前进一步,速度慢,但前进方向稳定
随机梯度下降:即随机抽取样本进行梯度下降计算,速度快,但前进方向不稳定
小批量梯度下降:即将全样本n均等分成m份,一轮前进m步,速度较快,前进方向较为稳定(注:当m=n时则为随机梯度下降,m=1时则为批量梯度下降)
小批量梯度下降
性能原理:
由于将n份数据分为m批,每批都有n/m个数据,对每批进行训练时都梯度下降一步,则n份数据全部训练完时则下降m步,达到提高速度的目的同时梯度下降方向较随机梯度下降更为稳定
可行性:
根据统计学原理,部分样本可以某种程度上表达全样本的性质,所以每批样本都能一定程度代表总样本同时又具有一定的独立性,所以可以让单独一批样本计算出单独一步的梯度下降,但同时由于其独立性导致损失函数J与迭代次数的轨迹图并不是单调下降,如图。
使用注意
Mini-batch的batch大小一般应为2的幂数,如32、64、128等,因为这符合电脑的内存设计
同时要保证batch大小不超过CPU/GPU的内存大小,不然会报错