摘要：
基本原理 损失函数 （线性链）CRF通常用于序列标注任务，对于输入序列$x$和标签序列$y$，定义匹配分数： $$ s(x,y) = \sum_{i=0}^l T(y_i, y_{i+1}) + \sum_{i=1}^l U(x_i, y_i) $$ 这里$l$是序列长度，$T$和$U$都是可学习的 阅读全文
摘要：
本文是arxiv上一篇较短的文章，之所以看是因为其标题中半监督和文本分类吸引了我。不过看完之后觉得所做的工作比较少，但想法其实也挺不错。 大多数的半监督方法都选择将小扰动施加到输入向量或其表示中，这种方式在计算机视觉上比较成功，但对于离散型的文本却不适合。为了将这个方法应用于文本输入，本文将神经网络 阅读全文
摘要：
这是一篇发表在ICLR2019上的论文，并且还是ICLR2019的Best paper之一。该论文提出了能够学习树结构信息的 ON LSTM 模型，这篇论文的开源代码可以在 "GitHub" 找到。 自然语言都是层次结构的，小的单元（如词组）堆叠成大的单元（如子句）。当一个大的成分结束时，其内部的所 阅读全文
摘要：
这篇文章出自facebook，主要探索了如何利用类别型特征(categorical features)并且构建一个深度推荐系统。值得注意的是，文章还特别强调了工业实现上如何实现并行，也很良心地给出了基于Pytorch和Caffe2的模型实现。 引言 目前的个性化推荐系统深度模型主要有两种方式： 推荐 阅读全文
摘要：
Word2vec基础 词嵌入的假设，是通过一个词所在的上下文可以获得词的语义甚至语法结构，有相似上下文的词在向量空间中是邻近的点。 背景概念 Word2Vec要解决的根本问题，说到底是自然语言处理的问题。一般认为自然语言处理模型氛围两大派系，分别是形式文法和统计语言模型 统计语言模型 简单地说，可以 阅读全文
摘要：
概述 BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre train方法上，即用了Masked LM和Next 阅读全文
摘要：
下面的代码自下而上的实现Transformer的相关模块功能。这份文档只实现了主要代码。由于时间关系，我无法实现所有函数。对于没有实现的函数，默认用全大写函数名指出，如SOFTMAX 由于时间限制，以下文档只是实现了Transformer前向传播的过程。 输入层 输入层包括Word Embeddin 阅读全文
摘要：
"参考1" ， "参考2" 直观理解 先来看一个翻译的例子“I arrived at the bank after crossing the river” 这里面的bank指的是银行还是河岸呢，这就需要我们联系上下文，当我们看到river之后就应该知道这里bank很大概率指的是河岸。在RNN中我们就 阅读全文
摘要：
基本思想 生成器 从先验分布中采得随机信号，经过神经网络变换，得到模拟样本 判别器 接受来自生成器的模拟样本，也接受来自实际数据集的真实样本，并进行判断 训练过程 训练判别器：先固定生成器$G(\cdot)$，然后利用生成器随机模拟产生样本$G(z)$作为负样本，并从真实数据集采样正样本$X$;将这 阅读全文