10 2020 档案

摘要:RNN 存在梯度消失/爆炸问题,但该问题在神经网络中均存在。 通用的解决方案:1)添加更多地直连接。2)添加残差网络 from cs224 2021 lecture06 fancy-rnn page 49 LSTM 来自维基百科 LSTM解决问题:在依然解决序列问题的基础上,把RNN的「乘法模型」替 阅读全文
posted @ 2020-10-28 09:57 wa007 阅读(57) 评论(0) 推荐(0) 编辑
摘要:GBDT(Gradient Boost Decision Tree) 首先介绍下XGBoost的前身,gbdt 损失函数 gbdt的损失函数为: \[ Loss_t = \frac{1}{n}\sum\nolimits^{n}_{i=1}{l(y_i, \hat{y}_i^{(t)})}, \qqu 阅读全文
posted @ 2020-10-17 23:09 wa007 阅读(132) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示