摘要:
循环神经网络进阶 "1.GRU" "2.LSTM" "3.Deep RNN" "4.Bidirection NN" 1.GRU RNN存在的问题:梯度较容易出现衰减或爆炸(BPTT) ⻔控循环神经⽹络:捕捉时间序列中时间步距离较⼤的依赖关系 1.1数学表达式 $$ R_{t} = σ(X_tW_{x 阅读全文
摘要:
影响模型效果的一些因素 "1. 梯度消失和梯度爆炸" "2. 模型参数初始化" "3. 考虑到环境因素的其他问题" "4. 实例:Kaggle房价预测" 1.梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。 当神经网络的层数较多时,模型的 阅读全文
摘要:
过拟合、欠拟合及其解决方案 "1. 过拟合、欠拟合的概念" "2. 权重衰减(通过l2正则化惩罚权重比较大的项)" "3. 丢弃法(drop out)" "4. 实验" 1.过拟合、欠拟合的概念 1.1训练误差和泛化误差 前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出 阅读全文