yesuuu

摘要： 【性能度量】 使用什么误差度量？ 目标性能大致为多少？ 【默认的基准模型】 首先尝试分段线性单元，ReLU以及扩展。 SGD一般是合理的选择，选加入动量的版本，衰减方法不一。 批标准化在优化出现问题时应该直接使用。 一开始就应该有一些温和的正则化 提前终止一般使用 Dropout比较容易实现，而且兼 阅读全文

摘要： 【神经网络优化的挑战】 一、病态： 虽然学习率很小，而且梯度大，但是由于Hessian阵的病态，二次项比一次项还要大，梯度下降事实上并不一定能下降，反而有可能上升。因此需要将学习率调低。 表现：梯度很强，但是学习很缓慢，因为曲率太强 二、局部最小值： 由于权重空间对称性，神经网络有很多局部极小值。 阅读全文