深度学习调参经验之谈以及过拟合欠拟合解决办法

网上down的代码，很多人是不是读起来费劲，分析起来比较麻烦，

每个人有每个人的风格，因此代码需要别人帮着才能读明白！

深度学习调参很麻烦，很多人苦于调参，一调就是一个月，结果却

稀碎，还找不到原因，其实可以分析，只是没找到方法！

今天，就自己调试过程中遇到的一些问题进行讲述：

一、认知部分：

关于可调参数，卷积有通道数、核尺寸、层数、学习率、epoch，

上述这些都是多了不行，少了不行的，就必须刚刚好才能出结果。

①学习率，建议在其他不动的时候直接0.01、0.001、0.0001调试，

如果训练精确度上不去，可先调大，再调小，用下面方式自适应调参。

from torch.optim import lr_scheduler

②epoch，这个针对凯斯这种数据，数据量不大的情况，做个分类，

模型好的时候200就行，模型收敛不行的2000差不多了。

③核尺寸和层数，经验值如果用一维卷积，那第一层的卷积核尽量设大，

我以1024为尺度，第一层核505，其它层均为3。层数一般4-5层左右，

多了很容易看到过拟合。

④通道数，8,16,32,64，可递增（普通卷积），可不变（残差卷积），

然后根据效果再微调（很重要，我直接从85调到了91的准确率）。

就很多时候，不一定按照经验去调试，而需要大胆的尝试！！！

二、数据、模型部分

这方面就容易牵扯到过拟合欠拟合问题，我做了个总结，大家分享

指正错误。

模型大，数据少，容易欠拟合 训练测试都低
模型小，数据多，容易过拟合 训练精度高，测试精度低

但是如果你尝试了控制其中一个不变，调节另一个不变，

都只能到90%，那么，你需要改进模型了！！！