摘要：
原文链接 1. 包的导入 import re import math import importlib import spacy import torch import torch.nn as nn from torch.autograd import Variable !pip3 install 阅读全文
摘要：
文章链接 第0步. 什么是self-attention? 原文链接： Transformer 一篇就够了（一）： Self-attenstion 接下来，我们将要解释和实现self-attention的全过程。 准备输入 初始化参数 获取key，query和value 给input1计算attent 阅读全文
摘要：
本教程训练了一个 Transformer 模型 用于将葡萄牙语翻译成英语。这是一个高级示例，假定您具备文本生成（text generation）和 注意力机制（attention） 的知识。 Transformer 模型的核心思想是自注意力机制（self-attention）——能注意输入序列的不同 阅读全文
摘要：
背景 Transformer模型是NLP领域一个比较里程碑式的模型。在Transformer之前，从RNN系列到Seq2Seq结构再到PGN模型算是nlp领域的一个阶段；从Transformer之后，nlp模型开启了预训练+微调的新范式；因此，Transformer可以算的上是一个承前启后的模型，对 阅读全文