4-6 参数 VS 超参数

参数 VS 超参数（ Parameters vs Hyperparameters）

比如算法中的 learning rate (学习率)a，iterations (梯度下降法循环次数)、L(隐藏层数目)、${n^{[l]}}$（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要人为设置，这些参数实际上控制了最终需要计算的参数w、b，所以这些参数被称为超参数。实际上超参数还有很多，例如momentum、 mini batch size、 regularization parameters 等等。
如何寻找最佳的超参数：

采用Idea—Code—Experiment—Idea 这个循环， 尝试各种不同的参数， 实现模型并观察是否成功，然后再迭代 。
在开发的过程中，超参数是会改变的，因为CPU、GPU等会变化，所以每几个月就要检查一下超参数值是一个很值得推荐的习惯。