神经网络入门篇：激活函数的导数（Derivatives of activation functions）

激活函数的导数

在神经网络中使用反向传播的时候，真的需要计算激活函数的斜率或者导数。针对以下四种激活，求其导数如下：

1）sigmoid activation function

图1.8.1

其具体的求导如下：
公式3.25：
\(\frac{d}{dz}g(z) = {\frac{1}{1 + e^{-z}} (1-\frac{1}{1 + e^{-z}})}=g(z)(1-g(z))\)

注：

当\(z\) = 10或\(z= -10\) ; \(\frac{d}{dz}g(z)\approx0\)

当$z $= 0 , \(\frac{d}{dz}g(z)\text{=g(z)(1-g(z))=}{1}/{4}\)

在神经网络中\(a= g(z)\); \(g{{(z)}^{'}}=\frac{d}{dz}g(z)=a(1-a)\)

2. Tanh activation function

图3.8.2

其具体的求导如下：
公式3.26：
$g(z) = tanh(z) = \frac{e^{z} - e^{-z}}{e + e^{-z}} $

公式3.27：
\(\frac{d}{{d}z}g(z) = 1 - (tanh(z))^{2}\)
注：

当\(z\) = 10或\(z= -10\) \(\frac{d}{dz}g(z)\approx0\)

当\(z\) = 0, \(\frac{d}{dz}g(z)\text{=1-(0)=}1\)

在神经网络中;

3）Rectified Linear Unit (ReLU)

\(g(z) =max (0,z)\)

\[g(z)^{'}= \begin{cases} 0& \text{if z < 0}\\ 1& \text{if z > 0}\\ undefined& \text{if z = 0} \end{cases} \]

注：通常在\(z\)= 0的时候给定其导数1,0；当然\(z\)=0的情况很少

4）Leaky linear unit (Leaky ReLU)

与ReLU类似

\[g(z)=\max(0.01z,z) \\ \\ \\ g(z)^{'}= \begin{cases} 0.01& \text{if z < 0}\\ 1& \text{if z > 0}\\ undefined& \text{if z = 0} \end{cases} \]

注：通常在\(z = 0\)的时候给定其导数1,0.01；当然\(z=0\)的情况很少。