word2vec详解

原理

word2vec的大概思想是，认为，距离越近的词，相关性就越高，越能够表征这个词。所以，只需要把所有的条件概率\(P(w_{t+j}|w_t)\)最大化，这样就能够得到一个很好的用来表征词语之间关系的模型了。

最大化的方法就是使用最大似然估计，构建损失函数，然后使用梯度下降进行优化就可以了。

而这里的核心问题就是，如何去用参数表征这个条件概率，也就是说，如何计算p(wt+j | wt ; θ），下面是计算的方式，这里使用了两个参数 u 和v ，两个都代表莫一个词的表征，只不过含义不一样，u代表这个词作为context word来计算的时候，使用的表征，v代表这个词作为中心词计算的时候，使用的表征。

这里可以用点积来比较相似度，点积越大，越相似，就是让临近的单词相似度变高，然后在进行归一化操作，因为概率值必须在0-1之间，本质上理解就是，使用点积建模相似度，越相似的词，点积越大，最终的概率就越大。

Skip-gram & CBOW

首先，这里面的u和v是用Embedding进行编码的，一般是300维度，然后这300维度的向量在做softmax操作，最后在做优化，而优化的时候有两种算方法

第一种是skip-gram，这个就是上面提到的，使用中间词预测周边词，计算方法和上面一致

embed_o = self.embedding(index_0)
embed_v = self.embedding(index_v)

第二种是CBOW，这个不同的是，使用两边的词，预测中间的词，这里计算的时候就会出现差异，这个时候应该如何计算softmax, 首先假设周边词为w1 w2 w3 w4

这个时候需要对周边词进行平均操作，在求softmax

embed_v_list = self.embedding(w1,w2,w3,w4)
embed_v_mean = mean(embed_v_list)
embed_o = self.embedding(index_o) 

负采样

可以发现，在上面计算softmax的时候，要对所有的词进行计算，这样要耗费巨大的算力，而且实际上很多词根本就不可能一起出现，所以就出现了称为负采样的策略。

所以换了一种策略，这里直接使用sigmoid来建模条件概率，首先，让相关的两个词概率变大，然后随机选取一些词（K个词），作者默认这些词与要计算的词不相关，这个时候，在点积前加上一个负号，约束让概率变小。所以最终的损失函数就改造为了：

\[J_{neg}(\theta) = -log(\sigma(u_o^Tv_c)-\sum_{i=1}^Klog(\sigma(-u_k^Tv_c)) \]

评估

对词向量好坏的评价方法，分为内部和外部两种。

• 内部主要是计算词相似度，这个通过t-sne降维可视化，就可以直观的观察到。

• 外部是指通过一些任务，例如翻译，命名体识别等各种任务，可以用来评估词向量的效果。

使用gensim训练词向量

可以参考：https://www.kaggle.com/pierremegret/gensim-word2vec-tutorial

首先是对要训练的文本进行分词处理，英文可以使用NLTK，中文可以直接使用jieba，分完词之后，需要将其放入到一个list中，例如

[["苹果","很","好吃"],["香蕉","也","好吃"]] 

之后就可以直接喂入到genism中进行训练了

from gensim.models import Word2Vec

model = Word2Vec(min_count=20,
                     sg=1
                     window=2,
                     size=300,
                     sample=6e-5, 
                     alpha=0.03, 
                     min_alpha=0.0007, 
                     negative=20,
                     workers=cores-1) 
                     
t = time()

model.train(sentences, total_examples=model.corpus_count, epochs=30, report_delay=1)

print('Time to train the model: {} mins'.format(round((time() - t) / 60, 2))) 

参数：

min_count: 频率小于min_cout的词，会被过滤掉，默认为5

window：预测窗口的尺寸

size：词向量的维度

sample： 阈值，决定多高频率的词语会被随机的下采样，更高频率的词被随机下采样到所设置的阈值，默认值为1e-3。

sg: 训练模式，1: skip-gram; 0: CBOW

alpha: 初始学习率

min_alpha: 最小的学习率

negative：如果>0， 会使用负采样算法，可以设置有多少词被负采样，一般为5-20

worker: 使用多少核心进行计算

使用训练好的模型：

model.save(fname)  # 保存
model = Word2Vec.load(fname) # 加载

model.similarity("苹果","香蕉")  #计算相似度

model.most_similar(positive=['母亲','皇帝'],negative=['父亲']) #计算相对距离
# '皇后'  

#读取词向量
model['computer']