深度学习中的Internal Convariate Shift (ICS)
摘要：
深度学习网络模型的训练为什么会很困难？其中一个重要的原因是，深度神经网络设计到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化。通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。为了训练好模型，我们需要非常谨慎地设定学习率、初始化权重以及尽可能 阅读全文
posted @ 2018-04-24 23:57 逸阳 阅读(1873) 评论(0) 推荐(0) 编辑
