关于训练集、验证集、测试集的理解

我们在一般深度学习的实验中，经常使用到的是训练集和测试集。训练集自不必说，是用来训练网络参数的，如网络权重W,b。要进行区分的是验证集和测试集。验证集的作用是用来调整超参数，如网络层数、学习率等等。而测试集是用来测试你所训练的网络（包括网络参数和超参数）的效果。之所以不能用测试集来修改超参数，是因为该超参数是根据测试集来调整的，是对该测试集效果最好的超参数，无法对网络的泛化性进行检验。