tensorflow2知识总结（杂）---4、训练模型的步骤

tensorflow2知识总结（杂）---4、训练模型的步骤

一、总结

一句话总结：

1、首先开发一个过拟合的模型（更多层，更多神经元，训练更多轮）

2、然后，抑制过拟合（dropout、正则化、图像增强）

3、再次，调节超参数（学习速率、隐藏层单元数、训练轮次）

 

1、过拟合 和 欠拟合 ？

过拟合：在训练数据上得分很高，在测试数据上得分相对比较低

欠拟合：在训练数据上得分比较低，在测试数据上得分相对比较低

 

 

2、为什么说Dropout可以解决过拟合？

1、取平均的作用：先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用“5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。

2、减少神经元之间复杂的共适应关系：因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况。

3、Dropout类似于性别在生物进化中的角色：物种为了生存往往会倾向于适应这种环境，环境突变则会导致物种难以做出及时反应，性别的出现可以繁衍出适应新环境的变种，有效的阻止过拟合，即避免环境改变时物种可能面临的灭绝

 

 

3、参数选择原则？

理想的模型是刚好在欠拟合和过拟合的界线上，也就是正好拟合数据。

 

 

4、构建升级网络的总原则？

保证神经网络容量足够拟合数据

 

5、抑制过拟合最好的方式是什么？

增加训练数据

 

 

 

二、训练模型的步骤

博客对应课程的视频位置：

 

参数选择原则
首先开发一个过拟合的模型：
（1）添加更多的层。
（2）让每一层变得更大。
（3）训练更多的轮次

然后，抑制过拟合：
（1）dropout
（2）正则化
（3）图像增强

再次，调节超参数：
学习速率，
隐藏层单元数
训练轮次



超参数的选择是一个经验与不断测试的结果。

经典机器学习的方法，如特征工程、增加训练数据也要做

交叉验证