摘要：
业务场景大概是这样的，我要对用户博文进行分词(这个步骤可以看这篇文章 "如何在hive调用python的时候使用第三方不存在的库 how to use external python library in hadoop" ） 然后在对每条博文进行分词之后呢，我需要做的就是对分词之后的结果去除停用词， 阅读全文
摘要：
今天的一个业务场景就是要把三年的数据从第一天不停的融合起来，每一天作为表格一个新的分区。由于空间有限，数据量很大，可能每天数据都是几十个G的大小。所以我需要做的一点就是在融合这一天之后，删除一天的分区数据，为了保险起见，我删除这一天的前三天的数据。 大致代码是这样的 shell function s 阅读全文
摘要：
主要是参考这里,写的很好 "PyTorch 入门实战（四）——利用Torch.nn构建卷积神经网络" 1. 卷积层nn.Con2d() 常用参数 in_channels:输入通道数 out_channels:输出通道数 kernel_size:滤波器（卷积核）大小，宽和高相等的卷积核可以用一个数字表 阅读全文
摘要：
不涉及具体代码，只是记录一下自己的疑惑。 我们知道对于在pytorch中，我们通过构建一个词向量矩阵对象。这个时候对象矩阵是随机初始化的，然后我们的输入是单词的数值表达，也就是一些索引。那么我们会根据索引，赋予每个单词独一无二的一个词向量表达。在其后的神经网络训练过程中，每个单词对应独一无二的索引， 阅读全文
摘要：
pytorch中的词向量的使用 在pytorch我们使用nn.embedding进行词嵌入的工作。 具体用法就是: 在torch.nn.Embedding的源代码中，它是这么解释， This module is often used to store word embeddings and retr 阅读全文
摘要：
我之前大致写了一篇在pytorch中如何自己定义数据集合，在这里 "如何自定义数据集" 不过这个例子使用的是image，也就是图像。如果我们用到的是文本呢，处理的是NLP问题呢？ 在解决这个问题的时候，我在网上无意间搜索到这样一篇文章 "PyTorch 入门实战（三）——Dataset和DataLo 阅读全文
摘要：
pytorch读取图片，主要是通过Dataset类。 Dataset类源代码如下: python class Dataset(object): """An abstract class representing a Dataset. All other datasets should subclas 阅读全文
摘要：
他还写了一篇关于transformer的可以看一看 "transfromer" 阅读全文
摘要：
首先介绍一下 encoder decoder 框架 中文叫做编码 解码器，它一个最抽象的模式可以用下图来展现出来: 这个框架模式可以看做是RNN的一个变种:N vs M,叫做Encoder Decoder模型，也可以称之为Seq2Seq模型。 原始的N vs N RNN要求序列等长，然而我们遇到的大 阅读全文
摘要：
"这个论文讲述了attention机制的发展历史以及在发展过程的变体 注意力机制（Attention Mechanism）在自然语言处理中的应用" 上面那个论文提到attention在CNN中应用，有一个模型叫做ABCNN模型，我找到了相应的博文解释，写的还是不错的，可以看一下 "这里 《ABCN 阅读全文