《PyTorch深度学习》笔记（2）
目录
1、某些代码的含义
torch.rand()
返回一个张量，包含了从区间[0, 1)的均匀分布中抽取的一组随机数。
输入
x = torch.rand(2,3)
print(x)
输出：
tensor([[0.0118, 0.2275, 0.2665],
[0.8676, 0.2364, 0.4470]])
Process finished with exit code 0
torch.randn()
返回一个张量，包含了从标准正态分布（均值为0，方差为1，即高斯白噪声）中抽取的一组随机数
输入：
x = torch.rand(2, 3)
print(x)
输出（里面是0~1的随机数的2*3的张量）：
tensor([[0.4980, 0.0778, 0.3957],
[0.4589, 0.3789, 0.9305]])
Process finished with exit code 0
- 反向传播是干嘛的？
用来调整每条线的权值
2、不同的激活函数
2.1、sigmoid（不常用）
缺点：当sigmoid函数的输出值接近于0或者1的时候，simoid函数的前一层的梯度接近于0，这样使得参数不能经常调整，从而产生了无效的神经元
2.2、tanh（比上面的用的稍微多一点）
2.3、ReLU（常用）
- 优化器更快地找到正确的权重集合，使得随机梯度下降收敛更快
- 计算成本低，因为只进行了判断
- 缺点：很大的梯度进行反向传播，会出现无效神经元，所以要谨慎调整学习率
2.4、Leaky ReLU（未知）
要学到1-95页
学习反思：计划要不断调整，因为未知的不同内容的学习速度是不一样的，所以要及时调整每日的学习内容的多少
