word2vec原理(一) CBOW+Skip-Gram模型基础
word2vec作为神经概率语言模型的输入,其本身其实是神经概率模型的副产品,是为了通过神经网络学习某个语言模型而产生的中间结果。具体来说,“某个语言模型”指的是“CBOW”和“Skip-gram”。具体学习过程会用到两个降低复杂度的近似方法——Hierarchical Softmax或Negative Sampling。两个模型乘以两种方法,一共有四种实现。
一、CBOW
1.一个单词上下文
2.参数更新
23多个单词上下文
二、Skip-gram
1.网络结构
2.参数更新
参考链接: