摘要：在文章《玩转Keras之seq2seq自动生成标题》中我们已经基本探讨过seq2seq，并且给出了参考的Keras实现。 本文则将这个seq2seq再往前推一步，引入双向的解码机制，它在一定程度上能提高生成文本的质量（尤其是生成较长文本时）。本文所介绍的双向解码机制参考自《Synchronous B 阅读全文

摘要：Beam Search快速理解及代码解析(上) Beam Search 简单介绍一下在文本生成任务中常用的解码策略Beam Search（集束搜索）。 生成式任务相比普通的分类、tagging等NLP任务会复杂不少。在生成的时候，模型的输出是一个时间步一个时间步依次获得的，而且前面时间步的结果还会影 阅读全文

摘要：我为什么要做这件事呢？现存的python，机器学习视频都是为了培养人工智能算法工程师，各种高大上，各种看不懂，而有一批和我这样的同学，只想水一篇论文毕业，然后考公考编。因此，我的目标定位就是通过最快速的方法让大家具备水论文的一些必备基础。然后呢，transformer 和bert开课了，先润润嗓子，为正菜做准备。 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html 阅读全文