随笔 - 383
文章 - 0
评论 - 0
阅读 -
35125
12 2019 档案
Pytorch_Transformer框架
摘要:Transformer是Google团队在 2017 年提出的自然语言处理(NLP)框架,也是截至目前,最主流的NLP框架。BERT、GPT-2都是基于该模型的变形和扩展。 Transformer的具体算法在论文《Attention Is All You Ne...
阅读全文
Pytorch_Seq2Seq与Attention
摘要:自然语言处理是典型的序列问题,其底层算法在最近几年迅速发展,比如去年年底发布的BERT在11项自然语言处理任务中表现卓越,今年GPT-2生成文本(写作)的水平也有了显著提高。 目前这些最先进的技术都基于Transformer模型,该模型从RNN,LSTM,Se...
阅读全文
Pytorch_LSTM与GRU
摘要:RNN循环网络在序列问题处理中得到了广泛的应用。但使用标准版本的RNN模型时,常遇到梯度消失gradient vanishing和梯度爆炸gradient explosion问题。 RNN的缺点 RNN的梯度消失和梯度爆炸不同于其它网络,全连接网络和卷积网络每...
阅读全文
Pytorch_循环神经网络RNN
摘要:RNN是Recurrent Neural Networks的缩写,即循环神经网络,它常用于解决序列问题。RNN有记忆功能,除了当前输入,还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。 RNN是序列模型的基础,尽管能够直接调用现成的RNN算法,...
阅读全文