摘要：
神经网络在训练时最后会得到误差loss，神经网络会根据误差反向学习： 当反向学习的权重W < 1时，loss * W会逐级减小，甚至接近0。 这就是梯度消失。 当反向学习的权重W > 1时，loss * W会逐级增大，最后变得非常大。这就是梯度爆炸。 loss1 loss2 loss3 loss4 阅读全文
|
摘要：
神经网络在训练时最后会得到误差loss，神经网络会根据误差反向学习： 当反向学习的权重W < 1时，loss * W会逐级减小，甚至接近0。 这就是梯度消失。 当反向学习的权重W > 1时，loss * W会逐级增大，最后变得非常大。这就是梯度爆炸。 loss1 loss2 loss3 loss4 阅读全文
摘要：
note: RNN处理有序的数据。例如一句话 一层双向的循环神经网络示意图（没有 S0' 则为单层循环）: 正向循环S0 到 Si：y1的值受X1,A1以及上一层的A0影响 反向循环Si 到 S0：y1的值受X1, A1' 以及下一层的 A2' 影响 他们两者之间并不共享权值。 多层双向循环构成深度 阅读全文
摘要：
note: if you'll load data,the data shape should be similar with saved data's shape. -- 中式英语，天下无敌 阅读全文
摘要：
记录sklearn数据训练时的loss值，用tensorboard可视化 三步骤：红字处 阅读全文
|