【dlbook】正则化
摘要:
对学习算法的修改——旨在减少泛化误差而不是训练误差 显著减少方差而不过度增加偏差。 【参数范数惩罚】 通常只对权重做惩罚而不对偏置做惩罚,原因是拟合偏置比拟合权重容易很多。 不同层使用不同惩罚的代价很大,会在所有层使用相同的权重衰减。 L2正则化的效果: 在Hessian阵特征值较大的方向,正则化的 阅读全文
posted @ 2018-01-31 14:05 yesuuu 阅读(132) 评论(0) 推荐(0) 编辑