摘要： 上一篇文章 从 RNN 到 Attention 我们在RNN的Encoder-Decoder框架下引入了Attention 机制，用来解决 RNN 模型中梯度下降以及性能瓶颈问题，如下图所示： 上图就是引入了 Attention 机制的 Encoder-Decoder 框架。上图不再只有一个单一的语 阅读全文

摘要： 预训练语言模型基础知识串讲_Bolin-BGI的CSDN博客 阅读全文

摘要： 感知机与神经网络基础知识（入门） 先看定义： 人工神经网络（Artificial Neural Networks，简写为ANNs） 也简称为神经网络（NNs）在这里插入图片描述 或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型 阅读全文

摘要： 上次我们讲到，传统神经网络无法获取时序信息，但时序信息在自然语言处理任务中非常重要！ 例如 “我吃了一个苹果”这一句话，“苹果” 的词性和意思，取决于前面词的信息，如果没有 “我吃了一个” 这些词，“苹果”也可以翻译为乔布斯的“Apple”。 然而，RNN 的出现，让处理时序信息变为可能。 1. 传 阅读全文