Caffe实战（十三）：关于batch, iterations, epochs的相关概念
概念区分
batch
深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式：
- 第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。
- 另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochastic gradient descent。这个方法速度比较快，但是收敛性能不太好，可能在最优点附近晃来晃去，get不到最优点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。
为了克服两种方法的缺点，现在一般采用的是一种折中手段，mini-batch gradient decent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。
基本上现在的梯度下降都是基于mini-batch的，所以深度学习框架的函数中经常会出现batch_size，就是指这个。
iterations
iterations（迭代）：每一次迭代都是一次权重更新，每一次权重更新需要batch_size个数据进行Forward运算得到损失函数，再BP算法更新参数。1个iteration等于使用batchsize个样本训练一次。
epochs
epochs被定义为向前和向后传播中所有批次的单次训练迭代。这意味着1个周期是整个输入数据的单次向前和向后传递。简单说，epochs指的就是训练过程中数据将被“轮”多少次，就这样。
举个例子
训练集有1000个样本，batchsize=10，那么：
训练完整个样本集需要：
100次iteration，1次epoch。
具体的计算公式为：
one epoch = numbers of iterations = N = 训练样本的数量/batch_size。
Batch_size存在的意义
（1）为什么需要Batch_Size这个参数
Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：
- 其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。
- 其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。
Full Batch Learning 可以使用Rprop 只基于梯度符号并且针对性的单独更新各权值。
对于更大的数据集，以上 2 个好处又变成了 2 个坏处：
- 其一，随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。
- 其二，以 Rprop 的方式迭代，会由于各个 Batch 之间的采样差异性，各次梯度修正值相互抵消，无法修正。这才有了后来RMSProp 的妥协方案。
既然 Full Batch Learning 并不适用大数据集，那么走向另一个极端怎么样？
所谓另一个极端，就是每次只训练一个样本，即 Batch_Size = 1。这就是在线学习（Online Learning）。线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆。对于多层神经元、非线性网络，在局部依然近似是抛物面。使用在线学习，每次修正方向以各自样本的梯度方向修正，横冲直撞各自为政，难以达到收敛。如图所示：
可以选择一个合适的batch_size，使得用一半（甚至少得多）的数据训练算出来的梯度与用全部数据训练出来的梯度是几乎一样的。这就是批梯度下降法（Mini-batches Learning）。
batch_size的含义是采用多少个样本数量进行一次网络训练，也就是说用一个用多少个样本决定梯度的方向。batch_size=1相当于没一个样本训练一次，则每次梯度更新的方向受到该样本随机性的影响比较大，这就是在线训练；理想情况是采用所有样本共同决定梯度的方向，然而样本数量很大时，硬件很难达到要求（内存不满足，计算时间很长等），于是希望找到一个平衡的batch_size，既能符合硬件的要求，又尽可能的反映出所以后数据的训练的梯度方向。
注意：不要跟卷积层的kernel_size的维度混淆。kernel_size=height*width*connel，而connel取决于单幅图像的通道数，跟batch_size大小是没有关系的。
（2）在合理范围内，增大 Batch_Size 有何好处
- 内存利用率提高了，大矩阵乘法的并行化效率提高。
- 跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
- 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。
（3）盲目增大 Batch_Size 有何坏处
- 内存利用率提高了，但是内存容量可能撑不住了。
- 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。
- Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。
参考
