随笔分类 - NLP(自然语言处理)
摘要：1.seq2seq 一般在我们序列模型当中，都会分为encoder和decoder两个部分，如下图所示： 而我们的transformer变形金刚其实相当于是一种对我们seq2seq的一种升级版本，也就是在seq2seq上加上了self-attention，也就变成了我们的transformer，我们
阅读全文
摘要：一.最常见的self-attention 对于自注意力机制而言，我们有的时候会遇到词性分类的任务，比如说给定一句话，我想知道这句话当中每一个单词的词性。但是使用双向lstm呢，会有很多信息被忽略掉，尤其是一些位于后面的词很可能前面的词对它的影响没有那么大，即使我们的lstm考虑了一些遗忘门，增强记忆
阅读全文
摘要：一.seq2seq机制 传统的seq2seq机制在语言翻译当中使用了两个RNN，一个是encoder，将语言进行编码，另一个是decoder，将我们的得到的语言编码进行解码，解码的过程当中就可以对我们的语言进行翻译成另外一种语言。其机制如下所示： 当然这种机制了，就会出现一定的问题，比如说我们的一个
阅读全文
摘要：n-gram模型是自然语言处理里面的一个传统模型。我们来看看他是怎么实现的吧！要了解n-gram模型，我们先来看看什么是语言模型！ 一.语言模型 语言模型的定义是：语言模型是一种用来预测下一个单词什么的任务。比如我们有一句话： the students opened their _______. (
阅读全文
摘要：笔者在学习了吴恩达，以及斯坦福cs224n后，对于Word2Vec有了一些粗浅的理解，如有不合理之处请大家多多指正。这里就记记笔记啦： 一.词汇表征 在自然语言处理当中，一种是利用one-hot vector（独热编码）进行词汇表征，假设有30000个单词，那么hotel是其中的第7889个单词，那
阅读全文
摘要：在这一块当中我们稍微看看就好，不需要了解得太详细。进行文本数据分析往往是一个数据科学家需要具有的良好习惯，因为在对数据分析之前，需要对数据具有初步的了结。 首先我们导入代码，开始分析数据： import pandas as pd train_df = pd.read_csv('train_set.c
阅读全文
摘要：一.比赛背景 在本次Datawhale的竞赛当中，我们有一个具有20w条训练集，5w条测试集的数据集。整个数据集里面包含了各种分类不同的文本，每一个文本在训练集里都进行了标注label，这个label能够让我们知道训练集里面的句子是属于哪一个类别的数据。本次竞赛的文本分类一共有14个类别的数据，分别
阅读全文
