2014年1月27日

论文笔记(1)-Dropout-Improving neural networks by preventing co-adaptation of feature detectors

摘要: Improving neural networks by preventingco-adaptation of feature detectors 是Hinton在2012年6月份发表的,从这篇文章开始提出dropout的相关理论。该文章中没有详细的理论说明,只是通过实验说明了dropout在大数据量的情况下是有效的。以下记录论文的重要部分1、为了防止overfitting,使用dropout的方式,在数据量较大的情况下比较有效果。2、hidden unit采用0.5的比例,随机被忽略。3、传统RBM的方式使用了权衰减策略,主要目的是防止过度拟合,一般的做法是正常的梯度项后增加一项,作为惩.. 阅读全文

posted @ 2014-01-27 20:36 alexanderkun 阅读(2783) 评论(1) 推荐(1) 编辑

导航