摘要：
循环神经网络进阶 "1.GRU" "2.LSTM" "3.Deep RNN" "4.Bidirection NN" 1.GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 1.1数学表达式 $$ R_{t} = σ(X_tW_{x 阅读全文
摘要：
影响模型效果的一些因素 "1. 梯度消失和梯度爆炸" "2. 模型参数初始化" "3. 考虑到环境因素的其他问题" "4. 实例：Kaggle房价预测" 1.梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的 阅读全文
摘要：
过拟合、欠拟合及其解决方案 "1. 过拟合、欠拟合的概念" "2. 权重衰减（通过l2正则化惩罚权重比较大的项)" "3. 丢弃法(drop out)" "4. 实验" 1.过拟合、欠拟合的概念 1.1训练误差和泛化误差 前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出 阅读全文