激活函数

1.3 激活函数

1.3.1 sigmoid 激活函数

我们通常就用其中最常用的logistic函数来代指sigmoid函数：

 

𝑓(𝑥)=11+𝑒−𝑥f(x)=11+e−x

 

特点：sigmoid函数和阶跃函数非常相似，但是解决了光滑和连续的问题，同时它还成功引入了非线性。由于其值域处在0~1，所以往往被用到二分类任务的输出层做概率预测。​

缺点：

1. 当输入值大于3或者小于-3时，梯度就非常接近0了，在深层网络中，这非常容易造成“梯度消失”（也就是反向传播时误差难以传递到前面一层）而使得网络很难训练。
2. 其解析式中含有幂运算，计算机求解时相对来讲比较耗时。

1.3.2 Softmax 激活函数

Softmax 又称归一化指数函数， 适用于只有一个正确答案多类别分类问题（例如手写数字）。构建分类器，解决只有唯一正确答案的问题时，用Softmax函数处理各个原始输出值。

 

𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝑥𝑖)=𝑒𝑥𝑖∑𝑛𝑗=1𝑒𝑥𝑗softmax(xi)=exi∑j=1nexj

 

Softmax函数是二分类函数Sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。直白来说就是将原来的输出映射成为 (0,1) 的值，而这些值的累和为1（满足概率的性质），我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标。