深度学习 | 三个概念：Epoch, Batch, Iteration

 参考： 深度学习 | 三个概念：Epoch, Batch, Iteration

侵删

笔记：

1. 

2. • Batch（批 / 一批样本）：
     将整个训练样本分成若干个Batch。

   • Batch_Size（批大小）：
     每批样本的大小。

   • Iteration（一次迭代）：
     训练一个Batch就是一次Iteration（这个概念跟程序语言中的迭代器相似）。

3. 换算关系：

   

4. mnist 数据集有张图片作为训练数据，张图片作为测试数据。假设现在选择 Batch_Size = 对模型进行训练。迭代次。

   • 每个 Epoch 要训练的图片数量：(训练集上的所有图像)
   • 训练集具有的 Batch 个数：
   • 每个 Epoch 需要完成的 Batch 个数：
   • 每个 Epoch 具有的 Iteration 个数：（完成一个Batch训练，相当于参数迭代一次）
   • 每个 Epoch 中发生模型权重更新的次数：
   • 训练 10 个Epoch后，模型权重更新的次数：
   • 不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
   • 总共完成30000次迭代，相当于完成了个Epoch
5. 上面的链接介绍更详细。