神经网络overfiting
神经网络过拟合问题
这其实是个玄学
train loss 不断下降,test loss趋于不变,说明网络过拟合;也就是测试集没有被训练,也有可能是梯度消失问题
查看神经网络的层
model1 = Sequential()
model1.add(Embedding(max_words, embedding_dim))
model1.add(LSTM((LSTM_units)))
model1.add(Dense(3, activation='softmax'))
model1.summary()
这里只有简单的三层神经网络,lstm层之后直接到输出层了,这个网络是非常简单的,同时也存在一个问题,就是容易导致梯度消失
测试集的精度在下降,因此没有被训练。接下来增加dense层,激活函数为relu,在现有的研究成果中,relu激活函数是已经被证明了可以有效的解决梯度消失问题
整流线性单元(ReLU)是最广泛使用的激活函数,因为它解决了梯度消失的问题。更早时候,Sigmoid 和 Tanh 函数都是最常用的激活函数。但是它们都会遇到梯度消失的问题,即在反向传播中,梯度在到达初始层的过程中,值在变小,趋向于 0。这不利于神经网络向具有更深层的结构扩展。ReLU 克服了这个问题,因此也就可以允许神经网络扩展到更深的层。refs
因此增加一个dense层,激活函数是relu
model = Sequential()
model.add(Embedding(max_words, embedding_dim))
model.add(Dropout(0.2))
model.add(LSTM(LSTM_units))
model.add(Dense(24, activation='relu'))
model.add(Dense(3, activation='softmax'))
model.summary()
从结果来看训练集的误差是不断下降的,但是验证集的误差并没有下降,因此这里可是是数据预处理存在的问题,但是验证集和训练集数据预处理的是一致的,而且样本也是随机打乱的,因此排除数据集的问题。因此考虑样本分布是否在进入下一层的时候发生了改变
对于神经网络这种包含多个隐层的模型,在训练过程中,各层参数不停变化,所以各个隐层都会面对”covariate shift“的问题,这个问题不仅仅会发生在输入层,而是在神经网络内部都会发生,因此是”internal covariate shift“。
Batch normalization的基本思想:深层神经网络在做非线性变换前的输入值在训练过程中,其分布逐渐发生偏移,之所以训练收敛慢,一般是整体分布逐渐往非线性激活函数的两端靠近,这导致了反向传播时浅层神经网络的梯度消失。而batch normalization就是通过一定的规范化手段,将每个隐层输入的分布强行拉回到均值为0方差为1的标准正态分布上去,这使得输入值落回到非线性激活函数”敏感“区域。这使得梯度变大,学习速度加快,大大提高收敛速度。cnblogs
因此增加bn和dropout查看效果
model3 = Sequential()
model3.add(Embedding(max_words, embedding_dim))
model3.add(Dropout(0.2))
model3.add(LSTM(LSTM_units))
model3.add(BatchNormalization())
model3.add(Dropout(0.2))
model3.add(Dense(24, activation='relu'))
model3.add(BatchNormalization())
model3.add(Dropout(0.2))
model3.add(Dense(3, activation='softmax'))
model3.summary()
比之前的效果要好一些,但是,验证集的loss似乎还是没什么变化,需要再逛一下论坛~
究竟是发生了什么可怕的情况???
梯度消失、大量神经元失活、梯度爆炸和弥散、学习率过大或过小等。。。
目前学长提到的解决方案是增加一个dense层,把神经网络变更深,随着深度的增加容易过拟合,因此加入bn和dropout降低过拟合
解决方案感觉其实是存在冲突的,但其实是我这边代码的bug,
early stoping和dropout,bn都增加了,但是效果不是很满意,因此是感觉是数据的bug
还是需要进一步再产看