CIFAR10 数据集有 50000 张训练图片,10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。

  • 每个 Epoch 要训练的图片数量: 50000
  • 训练集具有的 Batch 个数: 50000 / 256 = 195 + 1 = 196
  • 每个 Epoch 需要完成的 Batch 个数: 196
  • 每个 Epoch 具有的 Iteration 个数: 196
  • 每个 Epoch 中发生模型权重更新的次数: 196
  • 训练 10 代后,模型权重更新的次数: 196 * 10 = 1960
  • 不同代的训练,其实用的是同一个训练集的数据。第 1 代和第 10 代虽然用的都是训练集的五万张图片,但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置,模型的训练代越靠后,越接近谷底,其代价越小

 

EPOCH:训练样本全部跑一遍 就是一个EPOCH

BATCH SIZE:就一个BATCH有多少个样本

 

posted on 2018-05-23 18:58  陈峰  阅读(543)  评论(0编辑  收藏  举报