深度学习的方差与偏差

学习算法中的高方差对应过拟合，高偏差对应欠拟合；

 

 

 

 

 debug学习系统时：

改善高方差的方法：增加训练集数量、减小特征数量、增大正则系数

改善高偏差的方法:增加特征数量、减小正则系数、增加高阶特征

 

 

准确率和召回率如上图所示，衡量效果时使用F系数，如下图 

 

 

 逻辑回归和SVM的选择：

n表示特征量的个数；m 表示训练集样本的个数

1、当n远大于m时，使用逻辑回归或线性核函数的SVM

2、当n小于m时，使用高斯核函数的SVM

3、当n远小于m时，增加特征量个数，使用逻辑回归或线性核函数的SVM

神经网络适用于以上各种情况，缺点时训练时间较长。