摘要：
MINI-BRATCH 这个就是把一个大训练集分成几个小训练集去训练 主要原因，，，，是因为训练集太大，显存塞不下 这样的话，loss会有一定波动，就是有时上升，有时下降，但总体趋势是下降的 最后精度上升到一个值后，训练很多次都没有上升，训练完成 动量梯度下降： 简单来说就是在训练一整个训练集的时候 阅读全文
摘要：
正则化输入就是把我们输入的X中的值给归一到0附近 比如我的输入是一张图片，也就是h * w * 3 的矩阵 那么我可以把其中的每个数 x - 120再除以120，使得我们输入的值围绕在原地附近 这样做的原因是，我们的learning_rate是固定的，对于一切的w,b都是同一个learning_ra 阅读全文
摘要：
训练神经网络时，我们会有一个训练集，一个测试集，人在这件事上几乎是不会出错的 当训练集精度为99%，而测试集精度为90%时 这时就是出现了过拟合，我们称他为方差较高 当训练集精度为85%，测试集精度也为85%时 这就是拟合的不好，我们称他为高偏差 为了之后表达方便我称训练集精度为a，测试集精度为b 阅读全文