神经网络的调参顺序

1. Andrew Ng 的个人经验和偏好是：

第一梯队： learning rate α

第二梯队： hidden units

mini-batch size

momentum β

第三梯队： number of layers

learning rate decay

other optimizer hyperparameters

 

2. 手动优化RNN超参数时需要注意的一些事：

• 小心出现过拟合，这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好，但网络的模型对于样例以外的预测则完全无用。
• 正则化有好处：正则化的方法包括l1、l2和丢弃法等。
• 保留一个神经网络不作定型的单独测试集。
• 网络越大，功能越强，但也更容易过拟合。不要尝试用10,000个样例来学习一百万个参数 参数 > 样例数 = 问题。
• 数据基本上总是越多越好，因为有助于防止过拟合。
• 定型应当包括多个epoch（使用整个数据集定型一次）。
• 每个epoch之后，评估测试集表现，判断何时停止（提前停止）。
• 学习速率是最为重要的超参数。
• 总体而言，堆叠层是有好处的。
• 对于LSTM，可使用softsign（而非softmax）激活函数替代tanh（更快且更不容易出现饱和（约0梯度））。
• 更新器：RMSProp、AdaGrad或momentum（Nesterovs）通常都是较好的选择。AdaGrad还能衰减学习速率，有时会有帮助。
• 最后，记住数据标准化、MSE损失函数 + 恒等激活函数用于回归、Xavier权重初始化

 

参考文献:

1.  [关于神经网络的调参顺序?]

2. LSTM超参数调试注意事项