10 2020 档案
摘要:RNN 存在梯度消失/爆炸问题,但该问题在神经网络中均存在。 通用的解决方案:1)添加更多地直连接。2)添加残差网络 from cs224 2021 lecture06 fancy-rnn page 49 LSTM 来自维基百科 LSTM解决问题:在依然解决序列问题的基础上,把RNN的「乘法模型」替
阅读全文
摘要:GBDT(Gradient Boost Decision Tree) 首先介绍下XGBoost的前身,gbdt 损失函数 gbdt的损失函数为: \[ Loss_t = \frac{1}{n}\sum\nolimits^{n}_{i=1}{l(y_i, \hat{y}_i^{(t)})}, \qqu
阅读全文