李燕

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

怎么区分哪些措施对我们有用呢?----首先根据learning curve来判断你的问题是high bias or variance

当你的算法是high bias问题时,如果你get more training examples是没有用处的,这时我们就不要浪费时间在get5 more training examples上面了。

对如何选择neural network architecture(选择几层hidden layer以及神经网络的大小)的建议

我们可以选择相对于来说"small"的neural network.=>特点: few parameters, more prone to underfitting 优点: 计算方便

我们也可以选择相对于来说"large"的neural network.(more units in hidden layer或者more hidden layers)=> 特点: more parameters,more prone to overfitting 缺点: computationally expensive(通常来说不是大的问题)。这种大型网络最主要的问题是出现overfitting的现象。

如果我们经常使用神经网络的话,会发现越大型的网络性能越好,如果出现了overfitting的现象,可以使用正则化的方法来修正overfitting。一般来说,使用"large"神经网络并且使用正则化来修正overfitting比使用"small"神经网络效果更好,出现的问题是计算量会较大。

如何来选择使用多少层hidden layer呢?是使用1层还是2层还是3层? 默认的情况是使用1层hidden layer,但是如果你确实想要使用多层的话,我们可以将数据分为trainning/cross validation/test data set,然后使用交叉验证的方法比较1个/2个/3个 hidden layer在cross validation data set上的表现情况,即我们有三个神经网络模型,通过交叉验证来选择一个表现最好的。

 

posted on 2015-12-17 17:19  李燕  阅读(689)  评论(0编辑  收藏  举报