神经网络的学习与泛化能力

一、学习能力，指在训练集上精度。

二、泛化能力，指在测试集上精度。

对于一个大型神经网络在一个大数据集上跑，LOSS持续不降，第一步先减小数据量，比方说只在单张图片上跑，观察每次LOSS下降情况，此时如果LOSS还是不下降说明网络没有学习能力，应该调整模型，一般是先把网络规模缩小，因为任何一个网络都会有学习能力，然而此时你的网络没有学习能力，则一定是你的模型有地方出错，而神经网络又是个黑盒，你只能摘除一部分网络，以排除“坏的”部分。此时网络的规模小了，又在一个相对较小的数据集上跑，必然会有个很好的学习能力。此时可以不断增加网络部件，来提高学习能力。接下来是在保证网络具有学习能力的基础上进行的，是使得网络具有泛化能力，可以通过扩大网络规模，与此同时增大数据量，可以使得网络具有很好的泛化能力。