如何确定怎样进一步提升学习算法的性能

　　当我们成功实现一个机器学习算法并将其用于解决实际问题时，常常会发现它的性能

（分类、回归准确度）达不到我们足够满意的状态。在这种情况下，我们有以下六种选项

来提高当前算法的性能

1 增加training set的数目　　这种方法适合模型发生过拟合的情况

2 减小feature的数量（使用更少feature）　　这种方法适合模型发生过拟合

3 增加feature的数量（使用更多feature）　　这种方法适合模型发生欠拟合

4 增加多项式feature 　　这种方法适合发生欠拟合的模型

5 减小λ　　适合欠拟合的模型

6 增大λ　　适合过拟合的模型

注意以上几点，就可以避免由于方向选择的不对造成的时间浪费。

 

对神经网络而言，一般说来，层数多/每层节点数多的复杂神经网络的性能往往比简答的神经网络性能好。

如果一个神经网络欠拟合的话，可以考虑增加层数、增加每层节点数、减小λ。

反之，如果是过拟合的话，最佳选项是增大λ。