随笔分类 -  深度学习

摘要:encoding Sinusoidal Position Encoding \[ \begin{aligned} P E_{(p o s, 2 i)} &=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d_{\text {model}}}}}\right) \\ 阅读全文
posted @ 2020-07-29 18:16 twilight0402 阅读(1433) 评论(0) 推荐(1) 编辑
摘要:工作流程 dropout用于解决过拟合,通过在每个batch中删除某些节点(cell)进行训练,从而提高模型训练的效果。 通过随机化一个伯努利分布,然后于输入y进行乘法,将对应位置的cell置零。然后y再去做下一层的前向传播。 \[ \begin{aligned} r_{j}^{(l)} & \si 阅读全文
posted @ 2020-07-29 12:03 twilight0402 阅读(1021) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示