超参数搜索

什么是超参数

在神经网络的村联过程中不变的参数

有哪些是超参数

• 网络结构参数：几层， 每层宽度，每层的激活函数等
• 训练参数: batch_size， 学习率， 学习率衰减算法等

为什么要超参数搜索

搜索策略

• 网格搜索

  定义N维方格， 每个方格对应一组超参数，一组一组的尝试，直到找到最好的组合方式。
  缺点就是计算量大，只能取固定的值，但最优的参数组合可能在方格中间， 需要不断细化取值区间，才能找到最优解，这也将指数级增大计算量

• 随机搜索

  参数的生成方式是随机的，课搜索的空间范围更大
  缺点就是目的性不强，可能搜不到最优解

• 遗产算法搜索

  原理是对自然界的模拟
  过程：初始化一组参数集合-> 应用到模型上进行训练-> 训练结果的准确率作为生存概率
  将生存概率高的模型的参数做组合交叉（两个模型各出一部分参数），然后产生下一代参数集合，继续训练

• 启发式搜索

  研究热点-AutoML
  基本特点就是，使用循环神经网络来生成参数。 然后使用强化学习来进行反馈， 使用模型来训练生成参数