Attention机制中权重的计算
Attention mechanism中,给输入序列中对应的每一个Ht分配权重(打分)究竟是如何打分?
输入序列打分,a(s, h) 其中s是输出序列的t-1时刻的隐藏层状态,h是输入的多个状态,
posted on 2018-03-27 13:52 mdumpling 阅读(4123) 评论(0) 编辑 收藏 举报
Attention mechanism中,给输入序列中对应的每一个Ht分配权重(打分)究竟是如何打分?
输入序列打分,a(s, h) 其中s是输出序列的t-1时刻的隐藏层状态,h是输入的多个状态,
posted on 2018-03-27 13:52 mdumpling 阅读(4123) 评论(0) 编辑 收藏 举报