不积跬步,无以至千里;不积小流,无以成江海。——荀子

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2018年4月13日

摘要: Dropout为什么有正则化的作用? 下面来直观理解一下。 上面讲到,dropout每次迭代都会让一部分神经元失活,这样使得神经网络会比原始的神经网络规模变小,因此采用一个较小神经网络好像和使用正则化的效果是一样的。 第二个直观认识是 我们从单个神经元入手,这个单元的工作就是输入并生成一些有意义的输 阅读全文
posted @ 2018-04-13 10:16 hejunlin 阅读(3003) 评论(0) 推荐(0) 编辑

摘要: 除了L2正则化,还有一个非常实用的正则化方法 dropout(随机失活),下面介绍其工作原理。 假设你在训练下图左边的这样的神经网络,它存在过拟合情况,这就是dropout所要处理的。我们复制这个神经网络,dropout会遍历网络每一层,并设置一个消除神经网络中节点的概率。 假设网络中的每一层,每个 阅读全文
posted @ 2018-04-13 10:06 hejunlin 阅读(1567) 评论(0) 推荐(0) 编辑