摘要：新代码在contrib\seq2seq\python\ops\attention_decoder_fn.py 和之前代码相比 不再采用conv的方式来计算乘，直接使用乘法和linear 给出了两种attention的实现 传统的"bahdanau": additive (Bahdanau et al 阅读全文

摘要：v1.0中 tensorflow渐渐废弃了老的非dynamic的seq2seq接口，已经放到 tf.contrib.legacy_seq2seq目录下面。 tf.contrib.seq2seq下面的实现都是dynamic seq2seq接口。 按照google的rd说法下个月将会给出更加完善的接口和实现。 当前版本也可以使用这里尝试分析一下现有dynamic seq2seq的代码。 首先核心... 阅读全文

摘要：tensorflow基于 Grammar as a Foreign Language实现，这篇论文给出的公式也比较清楚。 这里关注seq2seq.attention_decode函数， 主要输入 decoder_inputs, initial_state, attention_states, 这里可以主要参考 models/textsum的应用，textsum采用的多层双向... 阅读全文

摘要：考虑 state_is_tuple Output, new_state = cell(input, state) state其实是两个 一个 c state，一个m(对应下图的hidden 或者h) 其中m(hidden)其实也就是输出 new_state = (LSTMStateTuple(c, m) if self._s... 阅读全文