优化器-SDG: batch_size的选择
1. 划分batch的意义
Batch的思想，至少有两个作用：
-
合理利用内存容量
-
更好的处理非凸的损失函数
非凸的情况下，全样本就算工程上算的动，也会卡在局部优上，批表示了全样本的部分抽样实现，相当于人为引入修正梯度上的采样噪声，使“一路不通找别路”更有可能搜索最优值
2. 数值选择
Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集（Full Batch Learning）的形式，这样做至少有 2 个好处：
- 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向
- 由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。 Full Batch Learning 可以使用 Rprop 只基于梯度符号并且针对性单独更新各权值。
对于更大的数据集，以上 2 个好处又变成了 2 个坏处：
- 随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行
- 以 Rprop 的方式迭代，会由于各个Batch之间的采样差异性，各次梯度修正值相互抵消，无法修正。这才有了后来 RMSProp 的妥协方案。
既然 Full Batch Learning 并不适用大数据集，那么走向另一个极端怎么样？
所谓另一个极端，就是每次只训练一个样本，即 Batch_Size = 1。这就是在线学习（Online Learning）。线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆。对于多层神经元、非线性网络，在局部依然近似是抛物面。使用在线学习，每次修正方向以各自样本的梯度方向修正，横冲直撞各自为政，难以达到收敛。
在合理范围内，增大Batch_Size有何好处？
- 提高了内存的利用率，大矩阵乘法的并行化效率提高
- 跑完一次epoch（全数据集）所需要的迭代次数减少，相同数据量的数据处理速度加快
- Batch_size越大下降方向越准，引起的训练震荡越小
盲目增大 Batch_Size 有何坏处？
- 内存溢出
- 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢
- Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化
实验证明调节 Batch_Size 对训练效果影响到底如何
- Batch_Size太小，算法容易修正方向导致不收敛，或者需要经过很大的epoch才能收敛；
- 随着 Batch_Size 增大，处理相同数据量的速度越快；
- 随着 Batch_Size 增大，达到相同精度所需要的epoch数量越来越多；
由于上述两种因素的矛盾，Batch_Size 增大到某个时候，达到时间上的最优。
由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size 增大到某些时候，达到最终收敛精度上的最优。
3. 结合PC内存选择batch数值
问：如果我们的显卡比较渣（例如2G），无法提高Batch_size，有什么办法挽救一下精度？
当batch_size无法提高的时候，可以把solver里面的iter_size调大一些，因为在每个随机梯度下降步骤中通过 iter_size*batch_size 实现累加梯度。所以增加iter_size也可以得到更稳定的梯度。
