AYE89

coding & learning

导航

2018年4月13日

LSTM/RNN中的Attention机制

摘要： 一、解决的问题 采用传统编码器-解码器结构的LSTM/RNN模型存在一个问题，不论输入长短都将其编码成一个固定长度的向量表示，这使模型对于长输入序列的学习效果很差（解码效果很差）。 注意下图中，ax 和 axx 部分。 公式如下 科普： http://www.jeyzhang.com/underst 阅读全文

posted @ 2018-04-13 14:50 AYE89 阅读(1515) 评论(0) 推荐(0) 编辑

层次softmax函数（hierarchical softmax）

摘要： 一、h-softmax 在面对label众多的分类问题时，fastText设计了一种hierarchical softmax函数。使其具有以下优势： （1）适合大型数据+高效的训练速度：能够训练模型“在使用标准多核CPU的情况下10分钟内处理超过10亿个词汇”，特别是与深度模型对比，fastText 阅读全文

posted @ 2018-04-13 10:50 AYE89 阅读(14398) 评论(0) 推荐(0) 编辑