1、参数更新
SGD、Momentum、AdaGrad(学习率衰减)、Adam
2、权重初始值
Xavier初始值(sigmoid、tanh)、He初始值(relu)
3、Batch Normalization
4、正则化
5、权重衰减
6、Dropout
7、超参数(贝叶斯最优化)
设定超参数的范围
从设定的超参数范围中随机采样
使用步骤1中采用到的超参数的值进行学习,通过验证数据评估
识别精度(但是要将epoch设置得很小)
重复步骤1和步骤2(100次等)。根据它们的识别精度的结果,缩小超参数的范围
posted on 2019-09-03 10:47  fuge92  阅读(276)  评论(0编辑  收藏  举报