摘要： 一、正则化 正则化的思想就是在损失函数中加入刻画模型复杂度的指标，若损失函数为J(θ )，在求全局最优解时不是直接优化J(θ )，而是优化J(θ ) + λR(w)，其中R(w)用于刻画模型的复杂程度，λ表示模型复杂程度在总损失中所占的比例。通常模型复杂程度只由权重项决定，常用的刻画模型复杂度的函数 阅读全文

摘要： 在使用梯度下降最小化损失函数时，如果学习率过大会导致问题不能收敛到最优解，学习率过小，虽然可以收敛到最优解，但是需要的迭代次数会大大增加，在Tensorflow中，可以用指数衰减法设置学习率，tf.train.exponential_decay()函数会指数级地减小学习率，这样可以让模型在前期快速接 阅读全文