ReLu(Rectified Linear Units)激活函数
摘要：
Sigmoid函数导数图像如下，函数最大值约为0.25 根据BP算法，每次更新的权值会是多层sigmoid prime的乘积，随着层数增多会越来越小。 ReLu函数 f(x)=max(0,x)，导数在x>0时为1，x<0时为0。 使用ReLu可以一定程度减小运算量，避免层数增加的问题。 下面代码中， 阅读全文
posted @ 2016-11-29 22:52 1357 阅读(5759) 评论(0) 推荐(0) 编辑
