Skip-Gram模型

Skip-gram基本思想

根据中心词来预测上下文。

Skip-gram计算方法

采用滑动窗口机制，窗口中心为中心词w，根据中心词w推断窗口内其他词，也就是上下文词c。

假设有单词序列：“鸡你太美”，窗口大小win为2，也就是取中心词左右两边的一个单词。

则根据中心词预测上下文的概率为：P(你|鸡)  P(鸡|你)P(太|你)  P(你|太)P(美|太)  P(太|美)

计算目标就是使得这个概率连乘数值最大。

因为概率是小于0的数，越乘越接近于0，因此取个log。

公式可以改写为

表示对于每个中心词，计算其上下文的概率。

关于P(c|w;θ)的计算，必须满足两个条件：

1. 1. P(c|w;θ)在0和1范围内
   2. 对于所有的上下文，P(c|w;θ)的总和为1。

所以使用softmax函数：

u_c表示上下文单词的向量表示

v_w表示中心词的向量表示

U表示所有可用的上下文集合。

公式的意思也就是：给定中心词和给定的上下文 占 该中心词与所有上下文组合 中的比例，也就是特定中心词和特定上下文出现的概率。

将其代入原式得：

Skip-gram优化目标