随笔 - 383  文章 - 0  评论 - 0  阅读 - 35125 
12 2019 档案
Pytorch_Transformer框架
摘要:Transformer是Google团队在 2017 年提出的自然语言处理(NLP)框架,也是截至目前,最主流的NLP框架。BERT、GPT-2都是基于该模型的变形和扩展。 Transformer的具体算法在论文《Attention Is All You Ne... 阅读全文
posted @ 2019-12-25 20:04 xieyan0811 阅读(81) 评论(0) 推荐(0) 编辑
Pytorch_Seq2Seq与Attention
摘要:自然语言处理是典型的序列问题,其底层算法在最近几年迅速发展,比如去年年底发布的BERT在11项自然语言处理任务中表现卓越,今年GPT-2生成文本(写作)的水平也有了显著提高。 目前这些最先进的技术都基于Transformer模型,该模型从RNN,LSTM,Se... 阅读全文
posted @ 2019-12-18 11:17 xieyan0811 阅读(63) 评论(0) 推荐(0) 编辑
Pytorch_LSTM与GRU
摘要:RNN循环网络在序列问题处理中得到了广泛的应用。但使用标准版本的RNN模型时,常遇到梯度消失gradient vanishing和梯度爆炸gradient explosion问题。 RNN的缺点 RNN的梯度消失和梯度爆炸不同于其它网络,全连接网络和卷积网络每... 阅读全文
posted @ 2019-12-11 14:19 xieyan0811 阅读(48) 评论(0) 推荐(0) 编辑
Pytorch_循环神经网络RNN
摘要:RNN是Recurrent Neural Networks的缩写,即循环神经网络,它常用于解决序列问题。RNN有记忆功能,除了当前输入,还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。 RNN是序列模型的基础,尽管能够直接调用现成的RNN算法,... 阅读全文
posted @ 2019-12-06 17:33 xieyan0811 阅读(109) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示