pytorch（十二）：激活函数与loss函数的梯度

一、代码引入

import torch
import matplotlib.pyplot as plt
import numpy as np
from torch.nn import functional as F

二、sigmoid

1、函数与梯度公式

 

 2、代码与图像

def sigmoid(x):
    return (1/(1 + np.exp(-x)))

x = np.linspace(-3,3,100)
y = [sigmoid(i) for i in x]
plt.plot(x,y,c='b',label = 'sigmoid')
plt.title('$Sigmoid$')
plt.legend()

 

 三、tanh

1、代码和图像

 

 四、ReLU

 

 五、MSE

1、公式

 

 2、代码

 

 

 六、softmax