激活函数的求导

Sigmoid激活函数

　　

 

 　　其具体求导公式如下：

　

 

　　当且仅当 z=10或 z=-10时，Sigmoid激活函数的导数 ≈ 0

　　当 z = 0时，Sigmoid激活函数的导数 = 1/4

Tanh 激活函数

　　

 

　　

 

 　　

　　当且仅当 z=10或 z=-10时，tanh激活函数的导数 ≈ 0

　　当 z = 0时，Sigmoid激活函数的导数 = 1

ReLU激活函数

 

 

　　 

 

 

 

posted @ 2020-11-10 19:30  胡~萝~卜  阅读(749)  评论(0)  编辑  收藏  举报