Sigmoid函数
Sigmoid函数是一个在生物学中常见的S型函数，也称为
S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间
[2] 。公式如下
Sigmoid 图像
Tanh函数
Tanh是双曲函数中的一个，Tanh()为双曲正切。在数学中，双曲正切“Tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。公式如下
函数图像如下
Tanh函数图像
ReLU函数
Relu激活函数（The Rectified Linear Unit），用于隐层神经元输出。公式如下
函数图像如下
