9:常见函数以及激活函数的梯度
1:常见函数的梯度
【注】
导数:一维函数的导数(梯度)没有方向是一个标量
梯度:有方向的向量
2:激活函数的梯度
(2.1)激活函数:Sigmoid/Logistic
[注]sigmoid函数输出范围为【0,1】,多用于概率,图像的rgb通道等。
[注]sigmoid函数在torch中的使用有两种方式:
torch.sigmoid()
torch.nn.functional as F F.sigmoid()
(2.2)激活函数:tanh
[注]:Tanh函数输出范围为【-1,1】多用于RNN循环神经网络。
[注]:Tanh函数在torch中的使用方式:
torch.tanh()
(2.3)激活函数:ReLU(首先推荐使用的激活函数)
ReLU激活函数的梯度:
【注】ReLU函数有效降低了梯度爆炸和梯度离散的情况。
【注】ReLU函数在pytorch中的使用:
torch.relu()
F.relu()
【注】梯度爆炸和梯度离散参考:https://www.cnblogs.com/yangmang/p/7477802.html