常见激活函数

softmax

import torch.nn.functional as F
F.softmax(x, dim=)

$\sigma (z_i)=\frac{e^{z_i}}{{\mathrm{\Sigma }}_{j=1}^K{e}^{z_j}}$

• 它可以将一个具有任意实数范围的向量归一化为一个概率分布，使得向量中的每一个元素都变成了 [0,1] 范围内的值，并且所有元素的和为 1，

• 为了防止溢出，一般分数上下同时除以 $e^M,M=max(z_i)$, 变成了$\sigma (z_i)=\frac{e^{z_i-M}}{{\mathrm{\Sigma }}_{j=1}^K{e}^{z_j-M}}$

• 相当于将原来的比值，修改为e次后的比值，会将大数字与小数字之间的差距进一步拉大。

• 相加起来和为1.

sigmoid

import torch.nn as nn
nn.Sigmoid()

$f(x)=\frac{1}{1+e^{-x}}$

• 激活函数，分母大于1，所以激活为0到1的一个数字，且越靠近两端，增长率越慢

tanh

import torch.nn as nn
nn.Tanh()

$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

• 激活函数,它的输出范围为[-1,1]，输入小于0时逼近于-1，输入大于0时逼近于1