什么是dropout?

在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。深度学习中在代码中经常碰到的dropout函数是指我们在训练神经网络的过程中,随机丢弃一部分神经网络单元,只是暂时移除训练过程。即在前向传播的时候,让某个神经元的激活值以一定的概率p停止工作,这样可以使模型泛化性更强,因为它不会太依赖某些局部的特征

相当于以一定的概率减少训练过程中神经网络的数量,从而也使得训练的负荷减少,提高训练的速度

dropout的作用

有效的防止过拟合,大型的神经网络在小的数据集上训练时会导致过拟合

 

 

详细解释参考:http://pan.baidu.com/s/1c0Ri2Py

                         https://www.cnblogs.com/liaohuiqiang/p/9194699.html

 
 
 
 
 
 
posted on 2020-05-11 16:53  Carits  阅读(498)  评论(0编辑  收藏  举报