word2vec
word2vec主要是把单词表示为向量。当我们处理文本的时候,为了让计算机能够阅读和计算,肯定需要把文字转成数字(向量)。比较naive的方法是直接给按字母顺序标号,也能得到向量。但是这些向量只能表示字母顺序的关系。但是一个单词含有很多含义,存在近义词,反义词等等的关系(其实近义和反义就是对该单词含义的解释,当定义清楚了所有单词之间的关系,那么整个语言就被理解了),我们更希望我们的向量能够在向量空间上表现出这些关系,那么如何让计算机自动的发现这些关系,并把他们表示出来,就是Distributed Representation。那么,我们怎么让机器自己找到单词之间的关系呢?人们觉得可以通过上下文。人们觉得,如果我给出上下文,机器能够找出对应的单词,那么就认为机器学到了词的含义(举个简单的例子:"你今天吃这么多,你肚子会很?的。"比如这里出现了?这个新词,虽然我们以前没有见过这个词,但是根据上下文,我们可以推断出这个词应该和'饱'、'撑'这几个词意思相近,那么机器也会产生相似的词向量)。
word2vec主要采用CBOW(Continuous Bag-of-Words Model,连续词袋)模型和Skip-Gram模型。
One-hot Representation:就是一个词给一个编号
Distributed Representation:根据词的语义进行编号,语义相近的词语距离比较近。由Hinton 在 1986 年的论文《Learning distributed representations of concepts》提出。
统计语言模型:
(1)上下文无关模型
只考虑词的词频分布,不考虑上下文信息。是n-gram中n=1时的情形。也称为一元文法统计模型(Unigram Model)
(2)n-gram模型
n=2时又叫Bigram模型。n-gram模型是向前看n-1个词。
存在问题:(a)n无法取太大,n太大效果不好,n太小无法捕获更长远的信息。(b)没有词间相似度的信息。(c)未出现过的短语概率为0(解决办法:Laplace平滑,回溯剪枝)。
(3)n-pos(Part-of-Speech)模型
就是把每个词映射到了一种类别上。
(4)基于决策树的语言模型
优点:灵活,缺点:构造困难,时空开销大
(5)最大熵模型
(6)自适应语言模型
属于动态模型,
(7)NNLM(Neural Network Language Model)
神经网络语言模型。
(8)log-linear模型
(9)层次化Log-Bilinear模型
(10)CBOW模型
(11)Skip-Gram模型
使用例子:http://www.cnblogs.com/hebin/p/3507609.html
输入层读入窗口内的词,将它们的向量(K维,初始随机)加和在一起,形成隐藏层K个节点。输出层是一个巨大的二叉树,叶节点代表语料里所有的词(语料含有V个独立的词,则二叉树有|V|个叶节点)。而这整颗二叉树构建的算法就是Huffman树。这样,对于叶节点的每一个词,就会有一个全局唯一的编码,形如”010011″。我们可以记左子树为1,右子树为0。接下来,隐层的每一个节点都会跟二叉树的内节点有连边,于是对于二叉树的每一个内节点都会有K条连边,每条边上也会有权值。
这样,整体的结构就清晰了。在训练阶段,当给定一个上下文,要预测后面的词(Wn)的时候(word2vec的CBOW和Skip-gram都不是预测后面的词,都是在中间的词上做文章,但是本文这么写并不影响理解),实际上我们知道要的是哪个词(Wn),而Wn是肯定存在于二叉树的叶子节点的,因此它必然有一个二进制编号,如”010011″,那么接下来我们就从二叉树的根节点一个个地去便利,而这里的目标就是预测这个词的二进制编号的每一位!即对于给定的上下文,我们的目标是使得预测词的二进制编码概率最大。形象地说,我们希望在根节点,词向量和与根节点相连经过logistic计算得到的概率尽量接近0(即预测目标是bit=1);在第二层,希望其bit是1,即概率尽量接近1……这么一直下去,我们把一路上计算得到的概率相乘,即得到目标词Wn在当前网络下的概率(P(Wn)),那么对于当前这个sample的残差就是1-P(Wn)。于是就可以SGD优化各种权值了。
虽然用了huffuman树,但是如果两个词意思基本一样,但是一个词出现频率很低,另一个词出现频率很高,那么效果会变差?或者说两个单词相差很远,但是出现频率相似,那么它们会有很大的相同路径,那么他们的词向量会相似,那么效果变差?难道意思相近的词语出现频率也差不多?
2000 百度 IDL的徐伟 《Can Artificial Neural Networks Learn Language Models? 》
2001 Bengio 《A Neural Probabilistic Language Model》NIPS
2003 Bengio 《A Neural Probabilistic Language Model》JMLR 就是前文第7个模型
2008 Ronan Collobert 和 Jason Weston 《A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning》ICML
2011 Ronan Collobert 和 Jason Weston 《Natural Language Processing (Almost) from Scratch》JMLR
for more to see here: http://licstar.net/archives/328
word2vec的应用主要是要有词,而且不能只有一个词,还要有一定的序列。
比如进行推荐好友,那么每个用户可以看做一个词,好友列表可以看做词序列,然后就可以训练了。然后推荐你好友列表中词向量接近的人。
(这里说说这种推荐和利用LDA进行推荐的区别:首先,这里每个用户被看成词,LDA的话把每个用户看成文档(即用户的详细信息)。word2vec会调用你的好友列表,可能会给你推荐熟人;而LDA会分析每个用户的特点,会给你推荐你感兴趣的人,而这些人不是你的熟人。个人觉得LDA效果会好点(因为文档信息可以包含好友信息),但是LDA计算复杂度高,word2vec计算机复杂度会低一些。但是LDA有个局限,就是LDA必须要足够长度的文档和足够多的文档,如果就是一个小广告,就很难被当成文档,更适合当成单词,用word2vec会好些。但是我们也可以把小的东西,比如小广告进行分组,那么小广告就变成了‘大’广告,这时就可以看成是文档了。)