Word2vec 理解

1.有DNN做的word2vec,取隐藏层到softmax层的权重为词向量,softmax层的叶子节点数为词汇表大小

  

 

2.霍夫曼树:左边走 sigmoid(当前节点的词向量*当前节点的参数) 右边走 1-sigmoid(当前节点的词向量*当前节点的参数),叶子节点为词汇表所有词,然后求根节点到叶子节点的极大似然估计,在Skip gram中,词向量也是更新2c个词

  a. 在霍夫曼树中每个内部节点参数大小为[T, 1],T表示词向量维度大小

  b. 输入到霍夫曼树的词向量是两边词向量相加,取平均,得到的词向量[T, 1]转置后就为[1, T], 乘以霍夫曼树内部节点的参数就为1个值[1];乘以下一个内部节点时,词向量还是输入到霍夫曼树的词向量,不会因为上一个内部节点而改变

  c. 再用sigmoid进行激活,得到概率

  注:词向量和内部节点参数都是随机初始化的

 

3.negative sampling: 负采样,CBOW采样的是2c个词的平均向量,而Skip gram采样的是中心词的向量;这些都叫做正例,采样不是依据正例子来采样的,而是依据特定的方法

采样中心词的负例,然后最大化正例与(1-负例)的似然,既:sigmoid(w正*参数正)*[(1-sigmoid(w负*参数负)) neg个负例相乘]

 

参考博客地址:http://www.cnblogs.com/pinard/p/7160330.html

posted @ 2018-10-25 18:11  下路派出所  阅读(253)  评论(0编辑  收藏  举报