2018年8月23日
3-6 激活函数的导数
摘要： 激活函数的导数（ Derivatives of activation functions） Sigmoid函数 导数为： tanh函数 导数为： Relu函数 在z=0时，通常给定导数1,0，当然z=0的情况很少。 Leaky Relu函数 在z=0时，通常给定导数1,0.01，当然z=0的情况很少 阅读全文
posted @ 2018-08-23 21:52 刘-皇叔 阅读(2078) 评论(0) 推荐(0) 编辑
3-5 激活函数
摘要： 激活函数（ Activation functions） 常用激活函数： 依次为： Sigmoid函数 tanh函数或双曲正切函数 tanh可以看做是sigmoid函数向下平移和伸缩的结果，对它变形之后，穿过了(0,0)点，并且阈值介于-1和+1之间。 在隐藏层上使用tanh函数效果优于sigmoid 阅读全文
posted @ 2018-08-23 21:50 刘-皇叔 阅读(606) 评论(0) 推荐(0) 编辑