2020年8月13日
对【Attention is all your need!!】的理解
摘要： 0、背景 Transformer是2018年谷歌大佬们联手出品的用于替代RNN的模型，单单使用注意力机制，在该文中使用了多头自注意力，仅用线性变换来提取特征信息，能够极大程度提升并行性，且准确性也有大幅提升。 Transformer被提出用于机器翻译领域，但后续在基于Transformer或BERT 阅读全文
posted @ 2020-08-13 18:31 Joshua王子 阅读(924) 评论(0) 推荐(0) 编辑