摘要:
就是因为 batch norm 过后, weight 影响没那么重了,所以 l2 weight decay 的效果就不明显了。 证明了L2正则化与归一化相结合时没有正则化效应。相反,正则化会影响权重的范围,从而影响有效学习率。 阅读全文
摘要:
L1范数损失函数,也被称为最小绝对值偏差(LAD),最小绝对值误差(LAE) L2范数损失函数,也被称为最小平方误差(LSE) 鲁棒性 最小绝对值偏差之所以是鲁棒的,是因为它能处理数据中的异常值。如果需要考虑任一或全部的异常值,那么最小绝对值偏差是更好的选择。 L2范数将误差平方化(如果误差大于1, 阅读全文
摘要:
BGD(batch gradient descent) 遍历完所有数据,计算一次损失函数,更新一次梯度。 计算量大,速度慢,不支持在线学习。 SGD(stochastic gradient descent) 看一个数据,就计算一次损失函数,更新一次梯度。 速度快,收敛性能不太好,可能在最优点附近震荡 阅读全文
摘要:
对于同一个损失函数值,可以对应很多种不同的参数,甚至在高纬度下,极小值和极大值都很接近,所以即使是很好优化过的模型,也可能会对应多个不同的参数组合,很多组合都未必是数值稳定的。而且因为参数的安慰更自由,可以得到很小的训练误差,往往都不具有很好的泛化能力。 这个时候加入一个约束项,这个约束项计算之后, 阅读全文
摘要:
思想: 使用队的思想,将每一层的节点放入队列中,依次弹出,同时将其children放入队列。 c++ 或者:(做了一些小改动) 阅读全文