【机器学习与深度学习理论要点】8.超参数的概念、调优手段及对模型的影响?
1)什么是超参数?
超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。
2)超参数有哪些调优手段?
①网格搜索
网格搜索指查找搜索范围内的所有的点来确定最优值。如果采用较大的搜索范围以及较小的步长,网格搜索有很大概率找到全局最优值。然而,这种搜索方案十分消耗计算资源和时间,特别是需要调优的超参数比较多的时候。因此,在实际的应用中,网格搜索法一般会先试用较广的搜索范围和较大的步长,在寻找全局最优值可能的位置;然后回逐渐缩小搜索范围和步长,来寻找更精确的最优值。这种操作方案可以降低所需的时间和计算量,但由于目标函数一般是非凸的,所以很可能会错过全局最优值。
②随机搜索
随机搜索的思想与网格搜索比较相似,只是不在测试上界和下界之间的所有值,而是在搜索范围中随机选取样本点。它的理论依据是,如果样本点足够大,那么通过随机采样也能打概率地找到全局最优质值,或其近似值。随机搜索一般会比网格搜索要快一些,但是和网格搜索的快速版一样,他的结果也是没法保证的。
③验证曲线和学习曲线
- 验证曲线:根据不同评估系数来确定超参数优劣
- 学习曲线:根据训练数据规模来确定算法优劣
3)常用超参数对模型的性能影响
①学习率
学习率过大导致无法收敛,过小导致收敛慢
②损失函数部分超参数
对于部分损失函数超参数起变化会对结果十分敏感,而有些则不会太影响。在调整时,建议参考论文的推荐值,并在该推荐值数量级上进行最大最小值调试改参数对结果的影响。
③批样本数量
过大导致训练速度慢,过小导致收敛不稳定
④丢弃率
较小的丢弃率可提升准确度,但可能导致过拟合
⑤卷积核大小
增加卷积核尺寸意味着参数量的增加,同条件下,模型参数也相应的增加。劲量选取小的卷积核。
⑥模型深度
同条件下,下增加深度意为着模型具有更多的参数,更强的拟合能力,深度越深意味着参数越多,需要的时间和硬件资源也越高。