《PyTorch深度学习》笔记(2)
目录
1、某些代码的含义
torch.rand()
返回一个张量,包含了从区间[0, 1)的均匀分布中抽取的一组随机数。
输入
x = torch.rand(2,3)
print(x)
输出:
tensor([[0.0118, 0.2275, 0.2665],
[0.8676, 0.2364, 0.4470]])
Process finished with exit code 0
torch.randn()
返回一个张量,包含了从标准正态分布(均值为0,方差为1,即高斯白噪声)中抽取的一组随机数
输入:
x = torch.rand(2, 3)
print(x)
输出(里面是0~1的随机数的2*3的张量):
tensor([[0.4980, 0.0778, 0.3957],
[0.4589, 0.3789, 0.9305]])
Process finished with exit code 0
- 反向传播是干嘛的?
用来调整每条线的权值
2、不同的激活函数
2.1、sigmoid(不常用)
缺点:当sigmoid函数的输出值接近于0或者1的时候,simoid函数的前一层的梯度接近于0,这样使得参数不能经常调整,从而产生了无效的神经元
2.2、tanh(比上面的用的稍微多一点)
2.3、ReLU(常用)
- 优化器更快地找到正确的权重集合,使得随机梯度下降收敛更快
- 计算成本低,因为只进行了判断
- 缺点:很大的梯度进行反向传播,会出现无效神经元,所以要谨慎调整学习率
2.4、Leaky ReLU(未知)
要学到1-95页
学习反思:计划要不断调整,因为未知的不同内容的学习速度是不一样的,所以要及时调整每日的学习内容的多少