随笔分类 - 深度学习
摘要:encoding Sinusoidal Position Encoding \[ \begin{aligned} P E_{(p o s, 2 i)} &=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d_{\text {model}}}}}\right) \\
阅读全文
摘要:工作流程 dropout用于解决过拟合,通过在每个batch中删除某些节点(cell)进行训练,从而提高模型训练的效果。 通过随机化一个伯努利分布,然后于输入y进行乘法,将对应位置的cell置零。然后y再去做下一层的前向传播。 \[ \begin{aligned} r_{j}^{(l)} & \si
阅读全文
![](https://picgogogo.oss-cn-hangzhou.aliyuncs.com/img/avatar.jpg)