激活函数

激活函数各有优缺点, 优缺点从各自的函数和导数的图像上都能了解一二

Softmax 和 Sigmoid

softmax对应多分类时候的激活函数, sigmoid对应二分类时候. softmax能将向量压缩到一个等维的0~1的概率分布值中,而且, 概率和为1
sigmoid则对应, 将一个数映射到 0~1的概率
先看softmax

1. Sigmoid

2. Tanh

3. Relu

4. Leaky Relu

https://zhuanlan.zhihu.com/p/72462178
https://www.jiqizhixin.com/graph/technologies/1697e627-30e7-48a6-b799-39e2338ffab5
https://www.cnblogs.com/XDU-Lakers/p/10557496.html