2018年5月1日
深度学习（十六） ReLU为什么比Sigmoid效果好
摘要： sigmoid: Relu: 为什么通常Relu比sigmoid和tanh强，有什么不同？主要是因为它们gradient特性不同。 1.sigmoid和tanh的gradient在饱和区域非常平缓，接近于0，很容易造成vanishing gradient的问题，减缓收敛速度。vanishing gr 阅读全文
posted @ 2018-05-01 21:20 下路派出所 阅读(539) 评论(0) 推荐(0) 编辑