超参数（Hyperparameter）

什么是超参数？

机器学习模型中一般有两类参数：一类需要从数据中学习和估计得到，称为模型参数（Parameter）---即模型本身的参数。比如，线性回归直线的加权系数（斜率）及其偏差项（截距）都是模型参数。还有一类则是机器学习算法中的调优参数（tuning parameters），需要人为设定，称为超参数（Hyperparameter）。比如，正则化系数λ，决策树模型中树的深度。

 

参数和超参数的区别：

模型参数是模型内部的配置变量，需要用数据估计模型参数的值；模型超参数是模型外部的配置，需要手动设置超参数的值。机器学习中一直说的“调参”，实际上不是调“参数”，而是调“超参数”。

 

哪些属于超参数？

梯度下降法中的学习速率α，迭代次数epoch，批量大小batch-size，k近邻法中的k（最相近的点的个数），决策树模型中树的深度，等等。

 

超参数的优化：

有四种主要的策略可用于搜索最佳配置：

• 照看（babysitting，又叫试错）
• 网格搜索
• 随机搜索
• 贝叶斯优化