Sigmoid Function

本系列文章由 @yhl_leo 出品，转载请注明出处。
文章链接： http://blog.csdn.net/yhl_leo/article/details/51734189

---

Sigmodi 函数是一种数学函数，函数图像具有“S”形状（也称Sigmoid curve）。一般，Sigmoid 函数指的是一种特殊的逻辑函数（logistic function）：

函数图像如图 1所示。

图 1 logistic curve

还有一些其他相似的函数，如今多种多样的sigmoid 函数被应用在人工神经网络中，作为激活函数（Activation Function）。

定义： Sigmoid函数是一种有界的可微实函数，函数曲线上的任一点对应的导数值均为正值。

A sigmoid function is a bounded differentiable real function that is defined for all real input values and has a positive derivative at each point.

使用数学语言可以如下描述：

其中R指的是实数集。该函数最重要的性质就是：

从定义就可以看出，只要满足上诉的三条性质的函数，都可以成为Sigmiod函数，例如 arctangent, hyperbolic tangent, Gudermannian function, error function等。

图 2 是一张几种常见的Sigmoid函数图像，图中的函数都进行了归一化，在原点处的曲线斜率都为1.

图 2 Some Sigmoid function compared