随笔分类 - Deep learning_NLP
摘要：博客转载：https://www.cnblogs.com/franknihao/p/9718701.html BELU论文链接：http://www.aclweb.org/anthology/P02-1040.pdf 使用python的NLTK库进行BELu打分：https://cloud.tenc
阅读全文
摘要：一、关于RNN的梯度消失&爆炸问题 1. 关于RNN结构 循环神经网络RNN（Recurrent Neural Network）是用于处理序列数据的一种神经网络，已经在自然语言处理中被广泛应用。下图为经典RNN结构： 2. 关于RNN前向传播 RNN前向传导公式： 其中: St : t 时刻的隐含层
阅读全文
摘要：这里讲一下RNN（又称“valina RNN”）&GRU&LSTM三者的具体结构以及之间的联系。 1、RNN 在基本的RNN中（valina RNN），输出和隐状态相同； 2、GRU 加入了reset门和update门，前者用于确定前一步的隐状态有多少可以输入当前步，后者用于确定当前步的隐状态有多少
阅读全文
摘要：使用参考：https://zhuanlan.zhihu.com/p/31139113 例程： def get_data_iter(train_csv, test_csv, fix_length, batch_size, word2vec_dir): TEXT = data.Field(sequent
阅读全文
摘要：N-gram模型是一种语言模型（Language Model，LM），语言模型是一个基于概率的判别模型，它的输入是一句话（单词的顺序序列），输出是这句话的概率，即这些单词的联合概率（joint probability）。 N-gram本身也指一个由N个单词组成的集合，各单词具有先后顺序，且不要求单词
阅读全文
摘要：一、词嵌入 (1)NNLM（Neural Network Language Model） paper:http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf code:https://github.com/graykode/nlp-tut
阅读全文
摘要：参考链接：https://zhuanlan.zhihu.com/p/47282410 在attention机制中有三种向量：Value vector（V，值向量），Key vector（K，键值向量），Query vector（Q，问题向量），self-attention中V和Q相同，都是自身，即建
阅读全文
摘要：参考：https://blog.csdn.net/wbsrainbow/article/details/88795312 分词器的作用是将一串字符串改为“词”的列表，下面以“大学生活”这个输入为例进行讲解： 对“大学生活”这句话做分词，通常来说，一个分词器会分三步来实现： （1）找到“大学生活”这句
阅读全文
摘要：原文链接：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都
阅读全文
