摘要: inception1还在增加宽度,但resnet没有,只是增加深度 阅读全文
posted @ 2017-04-11 16:50 有梦就要去实现他 阅读(178) 评论(0) 推荐(0) 编辑
摘要: 深度在神经网络中有及其重要的作用,但越深的网络越难训练。 随着深度的增加,从训练一开始,梯度消失或梯度爆炸就会阻止收敛,normalized initialization和intermediate normalization能够解决这个问题。但依旧会出现degradation problem:随着深 阅读全文
posted @ 2017-04-11 16:21 有梦就要去实现他 阅读(2547) 评论(0) 推荐(0) 编辑
摘要: 从LeNet-5开始,cnn就有了标准的结构:stacked convolutional layers are followed by one or more fully-connected layers。对于Imagenet这种大的数据集,趋势是增加层数和层的大小,用dropout解决过拟合。 1 阅读全文
posted @ 2017-04-11 11:43 有梦就要去实现他 阅读(527) 评论(0) 推荐(0) 编辑