training acc比test acc小的情况

今天跑实验遇到了training acc比test acc小的情况，查找了一些资料之后发现有以下一些可能：

1. 使用了dropout，在训练的时候使用了dropout, 但是在test的时候其实没有dropout了。
2. learning rate太大了，（我就属于这个情况）
3. 数据集太小了，导致方差很小。

ref：
https://stackoverflow.com/questions/42878683/keras-cifar10-example-validation-and-test-loss-lower-than-training-loss/42924616#42924616
https://stackoverflow.com/questions/43979449/higher-validation-accuracy-than-training-accurracy-using-tensorflow-and-keras