激活函数的求导

Sigmoid激活函数

  

 

   其具体求导公式如下:

 

 

  当且仅当 z=10或 z=-10时,Sigmoid激活函数的导数 ≈ 0

  当 z = 0时,Sigmoid激活函数的导数 = 1/4

Tanh 激活函数

  

 

  

 

   

  当且仅当 z=10或 z=-10时,tanh激活函数的导数 ≈ 0

  当 z = 0时,Sigmoid激活函数的导数 = 1

ReLU激活函数

 

 

   

 

 

 

posted @ 2020-11-10 19:30  胡~萝~卜  阅读(769)  评论(0编辑  收藏  举报