摘要: 在使用RNN based model处理序列的应用中,如果使用并行运算batch sample,我们几乎一定会遇到变长序列的问题。 通常解决变长的方法主要是将过长的序列截断,将过短序列用0补齐到一个固定长度(例如max_length)。 最后由n个sample组成的dataset能形成一个shape 阅读全文
posted @ 2018-07-19 16:26 胡立峰 阅读(7343) 评论(1) 推荐(0) 编辑
摘要: 自然语言处理任务,比如caption generation(图片描述文本生成)、机器翻译中,都需要进行词或者字符序列的生成。常见于seq2seq模型或者RNNLM模型中。 这篇博文主要介绍文本生成解码过程中用的greedy search 和beam search算法实现。其中,greedy sear 阅读全文
posted @ 2018-07-19 14:36 胡立峰 阅读(7941) 评论(0) 推荐(1) 编辑