04 2020 档案
摘要：一、关于RNN的梯度消失&爆炸问题 1. 关于RNN结构 循环神经网络RNN（Recurrent Neural Network）是用于处理序列数据的一种神经网络，已经在自然语言处理中被广泛应用。下图为经典RNN结构： 2. 关于RNN前向传播 RNN前向传导公式： 其中: St : t 时刻的隐含层
阅读全文
摘要：这里讲一下RNN（又称“valina RNN”）&GRU&LSTM三者的具体结构以及之间的联系。 1、RNN 在基本的RNN中（valina RNN），输出和隐状态相同； 2、GRU 加入了reset门和update门，前者用于确定前一步的隐状态有多少可以输入当前步，后者用于确定当前步的隐状态有多少
阅读全文
摘要：GAM算法的pipeline如图3-8所示，Feature Extractor用于提取特征，Mask-propagation Module机制和RGMP类似，融合第一帧信息（RGB图和分割图在通道拼接的输出）和前一帧的分割结果图以及当前帧的特征。为了在解码输入中加入区分前景和背景的强约束信息，文中还
阅读全文
摘要：1、判别模型：求解P(Y|X)条件概率。 2、生成模型：求解P(Y,X)联合概率，然后较大者为预测值。
阅读全文
摘要：使用参考：https://zhuanlan.zhihu.com/p/31139113 例程： def get_data_iter(train_csv, test_csv, fix_length, batch_size, word2vec_dir): TEXT = data.Field(sequent
阅读全文
摘要：N-gram模型是一种语言模型（Language Model，LM），语言模型是一个基于概率的判别模型，它的输入是一句话（单词的顺序序列），输出是这句话的概率，即这些单词的联合概率（joint probability）。 N-gram本身也指一个由N个单词组成的集合，各单词具有先后顺序，且不要求单词
阅读全文
