摘要:
MINI-BRATCH 这个就是把一个大训练集分成几个小训练集去训练 主要原因,,,,是因为训练集太大,显存塞不下 这样的话,loss会有一定波动,就是有时上升,有时下降,但总体趋势是下降的 最后精度上升到一个值后,训练很多次都没有上升,训练完成 动量梯度下降: 简单来说就是在训练一整个训练集的时候 阅读全文
摘要:
正则化输入就是把我们输入的X中的值给归一到0附近 比如我的输入是一张图片,也就是h * w * 3 的矩阵 那么我可以把其中的每个数 x - 120再除以120,使得我们输入的值围绕在原地附近 这样做的原因是,我们的learning_rate是固定的,对于一切的w,b都是同一个learning_ra 阅读全文
摘要:
训练神经网络时,我们会有一个训练集,一个测试集,人在这件事上几乎是不会出错的 当训练集精度为99%,而测试集精度为90%时 这时就是出现了过拟合,我们称他为方差较高 当训练集精度为85%,测试集精度也为85%时 这就是拟合的不好,我们称他为高偏差 为了之后表达方便我称训练集精度为a,测试集精度为b 阅读全文