摘要：
背景 前一篇文章中，采用了在当前比较主流的Transformer模型，Transformer模型本质来看是基于Encoder-Decoder框架，其解码方式本质上和seq2seq模型的解码方式基本相同。seq2seq的重要缺陷之一在于其不具备生成能力，而PGN模型具备着良好的生成能力。因此，本文拟结 阅读全文
摘要：
背景 前一篇文章中，采用了在预训练模型出现之前，比较经典的一款模型PGN，本文基于上一篇文章的内容，继续对模型表现性能进行提升。本篇采用的提升模型是Transformer模型。其原理部分，已在其他文章介绍过，本文重在其代码实现部分。 核心内容 整体流程 整个项目的大体流程，如数据加载、训练流程、测试 阅读全文
摘要：
原文链接 1. 包的导入 import re import math import importlib import spacy import torch import torch.nn as nn from torch.autograd import Variable !pip3 install 阅读全文
摘要：
文章链接 第0步. 什么是self-attention? 原文链接： Transformer 一篇就够了（一）： Self-attenstion 接下来，我们将要解释和实现self-attention的全过程。 准备输入 初始化参数 获取key，query和value 给input1计算attent 阅读全文
摘要：
本教程训练了一个 Transformer 模型 用于将葡萄牙语翻译成英语。这是一个高级示例，假定您具备文本生成（text generation）和 注意力机制（attention） 的知识。 Transformer 模型的核心思想是自注意力机制（self-attention）——能注意输入序列的不同 阅读全文
摘要：
背景 Transformer模型是NLP领域一个比较里程碑式的模型。在Transformer之前，从RNN系列到Seq2Seq结构再到PGN模型算是nlp领域的一个阶段；从Transformer之后，nlp模型开启了预训练+微调的新范式；因此，Transformer可以算的上是一个承前启后的模型，对 阅读全文
摘要：
背景 经过前几篇文章的内容，基本跑通了整个文本摘要的基本流程。主要包括：文本预处理、基于注意力机制的seq2seq文本摘要生成、解码算法、模型生成结果评估等。因此，经过前面的操作，基本可以得到一个完整的文本摘要抽取的过程，本文的内容旨在对抽取过程进行进一步的提升。本文主要实现的是transforme 阅读全文
摘要：
OOV问题及其常用解决方法 什么是oov问题？ 在encoder-decoder结构中，需要通过固定的词典对平行语料进行表示，词典大小一般控制在30k-60k；因此希望减少词表的大小，从而提高时间和空间效率。 同时还希望文本长度尽可能的短，因为文本长度的增加会降低效率并增加神经模型传递信息所需的距离 阅读全文
摘要：
背景 结果前面文章中对文本处理、模型构建及训练等内容，本文主要介绍训练完成之后，如何利用模型进行生成文本？以及如何衡量模型的性能等。 核心内容 为尽快使baseline完整，本文先采用两种常见的解码算法：Greedy Decode和Beam Serach进行解码，因此后续文中实现也主要围绕这两个内容 阅读全文
摘要：
1 背景 自然语言处理(NLP)过程可以分为自然语言理解（NLU）和自然语言生成（NLG），NLU负责理解文本内容，而NLG负责根据信息生成文本内容，该内容可以是语音、视频、图片、文字等。本文内容承接于前面两次的内容，在从训练集得到seq2seq模型后，需要对模型的性能进行评估。其中，评估的一个重要 阅读全文