Attention机制中权重的计算

Attention mechanism中,给输入序列中对应的每一个Ht分配权重(打分)究竟是如何打分?

输入序列打分,a(s, h) 其中s是输出序列的t-1时刻的隐藏层状态,h是输入的多个状态,

 

posted on 2018-03-27 13:52  mdumpling  阅读(4116)  评论(0编辑  收藏  举报

导航