机器学习-sigmoid函数

Sigmoid函数是机器学习中比较常用的一个函数，在逻辑回归、人工神经网络中有着广泛的应用，Sigmoid函数是一个有着优美S形曲线的数学函数。

Sigmoid函数的表达式：

$$ f(x) = \frac{1}{1+e^{-x}} $$

Sigmoid函数的图像：

在上图可以看出，Sigmoid函数连续，光滑，严格单调，是一个非常良好的阈值函数。当x趋近负无穷时，y趋近于0；趋近于正无穷时，y趋近于1；x=0时，y=0.5。当然，在x超出[-6,6]的范围后，函数值基本上没有变化，值非常接近，在应用中一般不考虑。Sigmoid函数的值域范围限制在(0,1)之间，这和概率值的范围[0,1]很接近，所以二分类的概率常常用这个函数。

Sigmoid函数的导数:

$$f'(x) = \frac{e^{-x}}{(1+e^{-x})^2} = \frac{1+e^{-x} -1}{(1+e^{-x})^2} = f(x)(1-f(x))$$