摘要：
加权移动平均法：是对观察值分别给予不同的权数，按不同权数求得移动平均值，并以最后的移动平均值为基础，确定预测值的方法。 采用加权移动平均法，是因为观察期的近期观察值对预测值有较大影响，它更能反映近期变化的趋势。 指数移动加权平均法：是指各数值的加权系数随时间呈指数式递减，越靠近当前时刻的数值加权系数 阅读全文
摘要：
批梯度下降： 1）采用所有数据来梯度下降，在样本量很大的时，学习速度较慢，因为处理完全部数据，我们仅执行了一次参数的更新。 2）在学习过程中，我们会陷入损失函数的局部最小值，而永远无法达到神经网络获得最佳结果的全局最优值。这是因为我们计算的梯度大致相同。 所以，我们实际上需要的是一些嘈杂的渐变。方向 阅读全文
摘要：
1. torch.nn.MSELoss 均方损失函数，一般损失函数都是计算一个 batch 数据总的损失，而不是计算单个样本的损失。 $$L = (x - y)^{2}$$ 这里 $L, x, y$ 的维度是一样的，可以是向量或者矩阵(有多个样本组合)，这里的平方是针对 Tensor 的每个元素，即 阅读全文
摘要：
在 pytorch 中提供了 torch.optim 方法优化我们的神经网络，torch.optim 是实现各种优化算法的包。 1. torch.optim.SGD 这个优化器实现的是实现随机梯度下降算法。 SGD 是最基础的优化方法，普通的梯度下降法, 需要重复不断的把整套数据放入神经网络 NN 阅读全文