Caffe学习 二 xavier初始化
摘要：
上一篇随笔中，将默认的参数初始化"xaview"改成了"gaussian"，虽然能运行得到不错的结果。 但是在加上针对性的std=sqrt(1/n_out)前，是无法收敛的。 相比之下，采用sigmoid就能收敛。 ReLU不够好的地方： 在学习率过高时，很多单元流经的梯度为0且不再更新就此死掉。— 阅读全文
posted @ 2017-01-05 22:18 1357 阅读(838) 评论(0) 推荐(0) 编辑
