2019年10月24日
Pytorch 技巧
摘要： 2019-10-24 20:20:27 阅读全文
posted @ 2019-10-24 20:21 hyserendipity 阅读(85) 评论(0) 推荐(0) 编辑
Soft & Hard Attention
摘要： 2019-10-24 20:18:43 问题描述：Soft Attention和Hard Attention的区别是什么。 问题求解： Soft Attention是通常使用的Attention机制，其选择的信息是所有输入信息在注意力分布下的期望。 Hard Attention是只关注到某一个位置上 阅读全文
posted @ 2019-10-24 20:19 hyserendipity 阅读(573) 评论(0) 推荐(0) 编辑
Cross Entropy 交叉熵
摘要： 2019-10-24 20:16:59 阅读全文
posted @ 2019-10-24 20:17 hyserendipity 阅读(139) 评论(0) 推荐(0) 编辑
LM 语言模型
摘要： 2019-10-24 20:13:07 一、自回归语言模型 Autoregressive LM 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模 阅读全文
posted @ 2019-10-24 20:13 hyserendipity 阅读(813) 评论(0) 推荐(0) 编辑