Word2Vec总结
摘要:
1.算法概述
2.算法要点与推导
3.算法特性及优缺点
4.注意事项
5.实现和具体例子
6.适用场合
内容:
1.算法概述
Word2Vec是一个可以将语言中的字词转换为向量表达(Vector Respresentations)的模型,Word2vec可以将字词转为连续值的向量表达,并且其中意义相近的词将被映射到向量空间中相近的位置。其主要依赖的假设是Distributional Hypothesis,即在相同语境中出现的词其语义也相近。Word2vec主要分为CBOW(Continuous Bag of Words)和Skip Gram两种模式,其中CBOW是从原始数据推测目标字词;而Skip-Gram是从目标字词推测原始语句,其中CBOW对小型数据比较合适,而Skip-Gram在大型预料中表现得更好。
2.算法要点与推导
Word2Vec的CBOW模型是一个二分类模型,用来区分真是的目标词汇和噪声词汇两类,其中噪声词汇是通过负样本采样(Negative Sampling,随机选择k个词汇)方法构造得来。Word2Vec使用Noise-Constrastive Estimation Loss,在tf.nn.nce_loss()方法中有实现。
3.算法特性及优缺点
4.注意事项
5.实现和具体例子
6.适用场合