Paper Reading:word2vec Parameter Learning Explained

论文：word2vec Parameter Learning Explained
发表时间：2016
发表作者：Xin Rong
论文链接：论文链接

为了揭开Word2vec的神秘面纱，不得不重新整理复习了Word2vec的相关资料。 Xin Rong 的这篇英文paper是更多人首推的 Word2vec 参考资料。这篇论文理论完备，由浅入深，且直击要害，既有高屋建瓴的 intuition 的解释，也有细节的推导过程。下面一起学习下这篇paper。

由于word2vec模型学习生成的词向量表示方法能够携带句子的语义信息（semantic meanings），因此适用于多种NLP任务。
这篇论文详细地推导和解释了word2vec模型的参数更新公式，包括：CBOW（continuous bag-of-word）模型和SG（skip-gram）模型，以及两种参数优化技术：hierarchical softmax 和 negative sampling.

1 Continuous Bag-of-Word Model

1.1 One-word context

从CBOW模型的最简单版本开始介绍——One-word context。即我们假定context（预测目标单词的上下文信息）只有一个单词，也就是说One-word context 模型是在只要一个上下文单词（one context word）的情况下来预测一个目标单词（one target word）的。

One-word context

如图1描述的就是One-word context定义之下的神经网络模型。这里我们假设文本词汇量的大小为 $V$ ,隐藏层的大小为 $N$ ，相邻层的神经元是全连接的。输入层是一个用one-hot方式编码的单词向量 $x=\{x_1,...,x_V\}$ ，其中只有一个 $x_i$ 为1，其余均为0。
从输入层到隐藏层的权重值可以用一个 $V×N$ 的矩阵 $W$ 来表示，其中 $W$ 矩阵的每一行代表的是一个与输入层相关的单词的 $N$ 维向量表示形式 $v_ω^T$ 。那么假设我们给定了一个输入单词（a context）,其单词向量的第 $k$ 个元素 $x_k=1$ ，其余均为0，则有

\begin{matrix} (1) & h = W^{T} x = W_{(k, ∙)}^{T} x_{k} = v_{ω_{I}}^{T} \end{matrix}

$\mathbf h= \mathbf W^Tx=\mathbf W_{(k,\bullet)}^T x_k=\mathbf v_{\omega_I}^T\tag{1}$

从（1）式我们可以看出， $h$ 向量完全是从 $W$ 矩阵第 $k$ 行复制过来的。 $v_{ω_I}$ 即为输入单词 ${ω_I}$ 的一种向量表示（即输入向量）。
分析完输入层到隐藏层之后，我们再看隐藏层到输出层，同样连接权重用一个新的 $N × V$ 矩阵 $\mathbf W'=\{\omega_{ij}' \}$ 来表示。通过这些权重，我们可以为词表中的每一个单词都计算出一个得分:

\begin{matrix} (2) & μ_{j} = {v_{ω_{j}}^{'}}^{T} h \end{matrix}

$\mu_j=\mathbf {v_{\omega_j}'}^T\mathbf h\tag{2}$

其中， ${v_{\omega_j}'}$ 即为矩阵 $W′$ 的第 $j$ 列向量（也是 $N$ 维向量，即单词w的输出向量）。

最后，我们可以通过softmax函数来计算单词的后验分布（是多项式分布）：

\begin{matrix} (3) & p (ω_{j} | ω_{I}) = y_{j} = \frac{\exp (μ_{j})}{\sum_{j^{'} = 1}^{V} \exp (μ_{j^{'}})} \end{matrix}

$p(\omega_j|\omega_I)=y_j=\frac{\exp(\mu_j)}{\sum_{j'=1}^V\exp(\mu_{j'})}\tag{3}$

其中， $y_j$ 表示输出层第 $j$ 个神经单元的输出值。将（1）式和（2）式代入（3）式我们可以得到:

\begin{matrix} (4) & p (ω_{j} | ω_{I}) = \frac{\exp ({v_{ω_{j}}^{'}}^{T} v_{ω_{I}})}{\sum_{j^{'} = 1}^{V} \exp ({v_{ω_{j}}^{'}}^{T} v_{ω_{I}})} \end{matrix}

$p(\omega_j|\omega_I)=\frac{\exp({\mathbf v_{\omega_j}'}^T \mathbf v_{\omega_I})}{\sum_{j'=1}^V\exp({\mathbf v_{\omega_j}'}^T \mathbf v_{\omega_I})}\tag{4}$

注意：正如前文所述， $v_ω$ 和 $v′_ω$ 是单词的两种向量表示形式。其中 $v_ω$ 实际上是权重矩阵 $W$ （input->hidden）的某一行向量， $v′_ω$ 则是权重矩阵 $W′$ （hidden->output）的某一列向量。

我们将 $v_ω$ 和 $v′_ω$ 分别称为“输入向量（input vector）”和“输出向量（output vector）”（二者均为N维向量）。

Update equation for hidden→output weights

接下来让我们推导权重矩阵的更新公式，尽管在实际的计算过程中这样做是不切实际的。
由以上描述可知，该模型训练的目标就是求公式（4）的最大值。公式（4）代表的就是给定上下文信息（这里为一个单词 $ω_I$ ）以及其权重矩阵的情况下，预测其实际输出单词（即上下文信息的中心词 $ω_O$ ）的条件概率。

\begin{aligned} (1) & max p (ω_{O} | ω_{I}) = max y_{j^{*}} \\ (2) & = max \log y_{j^{*}} \\ (5) & = μ_{j^{*}} - \log \sum_{j^{'} = 1}^{V} \exp (μ_{j^{'}}) := - E \end{aligned}

$\begin{align} & \max p(\omega_O|\omega_I)=\max y_{j^*} \\ & =\max \log y_{j^*} \\ & =\mu_{j^*} - \log \sum_{j'=1}^V \exp(\mu_{j'}):=-E \tag{5} \end{align}$

其中， $E=-\log p(\omega_O|\omega_I)$ 为该模型的损失函数（我们需要找出它的最小值）， $u_{j^*}$ 的表示方式由公式（2）而来, $j^*$ 则为实际输出单词的索引下标。我们注意到该损失函数可以理解为一种特殊情形下的交叉熵计算。
现在我们开始推导从隐藏层到输出层的权重矩阵在模型训练过程中的参数更新公式。首先我们对损失函数 $E=-\log p(\omega_O|\omega_I)$ 求关于得分 $μ_j$ 的偏导数，得结果为：

\begin{matrix} (8) & \frac{\partial E}{\partial μ_{j}} = y_{j} - t_{j} := e_{j} \end{matrix}

$\frac{\partial E}{\partial\mu_j}=y_j-t_j:=e_j\tag{8}$

其中， $t_j=1(j=j^*)$ ,即当且仅当输出层的第j个神经单元为真实的输出单词时 $t_j$ 的取值为1。接下来我们根据链式法则求出损失函数 $E$ 关于矩阵 $W′$ 元素 $\omega_{ij}'$ 的偏导数为：

\begin{matrix} (9) & \frac{\partial E}{\partial ω_{i j}^{'}} = \frac{\partial E}{\partial μ_{j}} \cdot \frac{\partial μ_{j}}{\partial ω_{i j}^{'}} = e_{j} \cdot h_{i} \end{matrix}

$\frac{\partial E}{\partial \omega_{ij}'}=\frac{\partial E}{\partial \mu_j}\cdot \frac{\partial \mu_j}{\partial \omega_{ij}'}=e_j\cdot h_i \tag{9}$

因此，采用随机梯度下降算法（SGD）,我们最终得到了隐藏层到输出层（hidden→→output）权重的更新公式如下：

\begin{aligned} (10) & {ω_{i j}^{'}}^{(n e w)} = {ω_{i j}^{'}}^{(o l d)} - η \cdot e_{j} \cdot h_{i} \end{aligned}

$\begin{align} {\omega_{ij}'}^{(new)}={\omega_{ij}'}^{(old)}-\eta \cdot e_j \cdot h_i\tag{10} \end{align}$

或者是：

\begin{aligned} (11) & {v_{ω_{j}}^{'}}^{(n e w)} = {v_{ω_{j}}^{'}}^{(o l d)} - η \cdot e_{j} \cdot h f o r j = 1, 2, . . . V . \end{aligned}

$\begin{align} {\mathbf v_{\omega_j}'}^{(new)}= {\mathbf v_{\omega_j}'}^{(old)} - \eta \cdot e_j \cdot \mathbf h \space \space for\space j=1,2,...V.\tag{11} \end{align}$

其推导公式与softmax+交叉熵推导如出一辙，可相互对比，提升自己的理解。

其中， $\eta >0$ 为参数更新的学习速率； $e_j=y_j-t_j$ ； $h_i$ 为隐藏层的第 $i$ 个神经单元； $v′_{ω_j}$ 为 $ω_j$ 的输出向量。
由公式（11）我们可以看出：在更新权重参数的过程中，我们需要检查词汇表中的每一个单词，计算出它的输出概率 $y_j$ ，并与期望输出 $t_j$ （取值只能为0或者1）进行比较。比较过程如下：

1）如果 $y_j>t_j$ (“overestimating”)，那么就从向量 $\mathbf v_{\omega_j}'$ 中减去隐藏向量 $\mathbf h$ 的一部分（例如 $\mathbf v_{\omega_I}$ ），这样向量 $\mathbf v_{\omega_j}'$ 就会与向量 $\mathbf v_{\omega_I}$ 相差更远。
2）如果 $y_j<t_j$ （“underestimating”，这种情况只有在 $t_j=1$ 时，才会发生，此时 $ω_j=ω_O$ ），则将隐藏向量 $\mathbf h$ 的一部分加入 $\mathbf v_{\omega_O}'$ ，使得 $\mathbf v_{\omega_O}'$ 与 $\mathbf v_{\omega_I}$ 更接近。
3）如果 $y_j$ 与 $t_j$ 非常接近，则此时 $e_j=y_j−t_j$ 由于（公式（8））非常接近于0，故更新参数基本上没什么变化。

这里需要再次提醒的是： $\mathbf v_{\omega}$ 和 $\mathbf v_\omega '$ 是单词 $ω$ 的两种不同的向量表示形式。

Update equation for input→hidden weights

在介绍完hidden→→output的权重矩阵更新公式之后，我们接着介绍input→→hidden的权重矩阵 $W$ 的更新过程。我们继续对损失函数 $E$ 求关于隐藏层 $h_i$ 的偏导数，得：

\begin{matrix} (12) & \frac{\partial E}{\partial h_{i}} = \sum_{j = 1}^{V} \frac{\partial E}{\partial μ_{j}} \cdot \frac{\partial μ_{j}}{\partial h_{i}} = \sum_{j = 1}^{V} e_{j} \cdot ω_{i j}^{'} := E H_{i} \end{matrix}

$\frac{\partial E}{\partial h_i}=\sum_{j=1}^V \frac{\partial E}{\partial \mu_j} \cdot \frac{\partial \mu_j}{\partial h_i}=\sum_{j=1}^V e_j \cdot \omega_{ij}':=EH_i \tag{12}$

其中 $h_i$ 为隐藏层第 $i$ 个神经单元的输出； $μ_j$ 在公式（2）中已经定义，表示输出层第 $j$ 个神经单元的输入； $e_j=y_j−t_j$ 为输出层第 $j$ 个单词的预测误差。因此 $EH$ 应该是一个 $N$ 维向量，它的每一个元素代表的是词汇表中的每个单词的预测误差 $e_j$ 与 $ω′_{ij}$ 在 $j=1$ 到 $V$ 上的乘积之和。
接下来，我们需要求出损失函数 $E$ 关于权重矩阵 $W$ 的偏导数。首先，分解公式（1），我们知道隐藏层激活单元的输出 $h_i$ 是输入层 $x$ 与权重的线性组合，即

\begin{matrix} (13) & h_{i} = \sum_{k = 1}^{V} x_{k} \cdot ω_{k i} \end{matrix}

$h_i=\sum_{k=1}^V x_k \cdot \omega_{ki} \tag{13}$

因此对于权重矩阵 $W$ 的每一个元素，我们求关于 $E$ 的偏导数，得到：

\begin{matrix} (14) & \frac{\partial E}{\partial ω_{k i}} = \frac{\partial E}{\partial h_{i}} \cdot \frac{\partial h_{i}}{\partial ω_{k i}} = E H_{i} \cdot x_{k} \end{matrix}

$\frac{\partial E}{\partial \omega_{ki}}=\frac{\partial E}{\partial h_i} \cdot \frac{\partial h_i}{\partial \omega_{ki}}=EH_i \cdot x_k \tag{14}$

因此我们利用张量乘积的方式，便可得到：

\begin{matrix} (15) & \frac{\partial E}{\partial W} = x \otimes E H = x E H^{T} \end{matrix}

$\frac{\partial E}{\partial W}=\mathbf x \otimes EH = \mathbf xEH^T \tag{15}$

我们再次得到了一个 $N×V$ 的矩阵。由于 $\mathbf x$ 向量只有一个非0元素，因此 $\frac{\partial E}{\partial W}$ 只有一行是 $N$ 维非0向量 $EH^T$ ，因此矩阵 $W$ 的更新公式为：

\begin{matrix} (16) & {v_{ω_{I}}}^{(n e w)} = {v_{ω_{I}}}^{(o l d)} - η \cdot E H^{T} \end{matrix}

${\mathbf v_{\omega_I}}^{(new)}={\mathbf v_{\omega_I}}^{(old)}-\eta \cdot EH^T \tag{16}$

其中 $\mathbf v_{\omega_I}$ 是矩阵 $W$ 的其中一行，是唯一的上下文单词（context word）的“输入向量”,也是矩阵 $W$ 唯一的导数非0的行向量。除了 $\mathbf v_{\omega_I}$ 以外，矩阵 $W$ 的其他行向量在参数更新迭代过程中都会保持不变（因为其导数为0）。
与矩阵 $W′$ 的更新过程相似，对于公式（16），我们分析如下：

1）如果过高地估计了某个单词 $ω_j$ 作为最终输出单词的概率（即： $y_j>t_j$ ），则上下文单词 $ω_I$ （context word ）的输入向量与单词 $ω_j$ 的输出向量在更新的过程中会相差越来越大。

2）如果相反，某个单词 $ω_j$ 作为最终输出单词的概率被低估（即： $y_j<t_j$ ），则单词 $ω_I$ 的输入向量与单词 $ω_j$ 的输出向量在更新过程中会越来越接近。

3）如果对于单词 $ω_I$ 的概率预测是准确的，则对于单词的输入向量在更新过程中几乎保持不变。

因此，上下文单词 $ω_I$ （context word ）的输入向量的更新取决于词汇表中所有单词的预测误差。预测误差越大，则该单词对于上下文单词的输入向量的更新过程影响越大。

在介绍完One-word context的CBOW模型之后，我们接着介绍multi-word context下的CBOW模型。

1.2 Multi-word context

根据字面意思我们就可以看出，基于multi-word context的CBOW模型就是利用多个上下文单词来推测中心单词target word的一种模型。其结构如图2所示：

Multi-word context

其隐藏层的输出值的计算过程为：首先将输入的上下文单词（context words）的向量叠加起来并取其平均值，接着与input→→hidden的权重矩阵相乘，作为最终的结果，公式如下：

\begin{aligned} (17) & h = \frac{1}{C} W^{T} (x_{1} + x_{2} + \dots + x_{C}) \\ (3) & = \frac{1}{C} (v_{ω_{1}} + v_{ω_{2}} + \dots + v_{ω_{C}})^{T} \end{aligned}

$\begin{align} & \mathbf h = \frac{1}{C} \mathbf W^T(\mathbf x_1 + \mathbf x_2 + \cdots +\mathbf x_C)\tag{17}\\ & = \frac{1}{C}(\mathbf v_{\omega_1}+\mathbf v_{\omega_2} + \cdots+\mathbf v_{\omega_C})^T \end{align}$

其中 $C$ 为上下文单词的个数， $ω_1,...,ω_C$ 为上下文单词， $v_ω$ 为单词 $ω$ 的输入向量。损失函数为：

\begin{aligned} (19) & E = - \log p (ω_{O} | ω_{I, 1}, . . ., ω_{I, C}) \\ (4) & = - μ_{j^{*}} + \log \sum_{j^{'} = 1}^{V} e x p (μ_{j^{'}}) \\ (5) & = - {v_{ω_{O}}^{'}}^{T} \cdot h + \log \sum_{j^{'} = 1}^{V} \exp ({v_{ω_{j}}^{'}}^{T} \cdot h) \end{aligned}

$\begin{align} & E = - \log p(\omega_O|\omega_{I,1},...,\omega_{I,C})\tag{19}\\ & =- \mu_{j^*} + \log \sum_{j'=1}^{V} exp(\mu_{j'})\\ & = - {\mathbf v_{\omega_O}'}^T \cdot \mathbf h + \log \sum_{j'=1}^{V} \exp({\mathbf v_{\omega_j}'}^T \cdot \mathbf h) \end{align}$

同样，由hidden→→output的权重更新公式与one-word-context模型下的一模一样，即类似于公式（11），我们直接写在下面：

\begin{matrix} (22) & {v_{ω_{j}}^{'}}^{(n e w)} = {v_{ω_{j}}^{'}}^{(o l d)} - η \cdot e_{j} \cdot h f o r j = 1, 2, . . ., V \end{matrix}

${\mathbf v_{\omega_j}'}^{(new)}={\mathbf v_{\omega_j}'}^{(old)}-\eta \cdot e_j \cdot \mathbf h \space \space \space for \space \space j=1,2,...,V\tag{22}$

由input→→hidden 的权重矩阵更新公式与公式（16）类似，只不过现在我们需要对每一个上下文单词 $ω_{I,c}$ 都执行如下更新公式：

\begin{matrix} (23) & {v_{ω_{I, c}}}^{(n e w)} = {v_{ω_{I, c}}}^{(o l d)} - \frac{1}{C} \cdot η \cdot E H^{T} f o r c = 1, 2, . . ., C . \end{matrix}

${\mathbf v_{\omega_{I,c}}}^{(new)}={\mathbf v_{\omega_{I,c}}}^{(old)} - \frac{1}{C}\cdot \eta \cdot EH^T \space \space for \space \space c=1,2,...,C.\tag{23}$

其中 ${\mathbf v_{\omega_{I,c}}}$ 为上下文context中第 $c$ 个单词的输入向量； $η$ 为正学习速率； $EH=\frac{\partial E}{\partial h_i}$ 由公式（12）给出。

2 Skip-Gram Model

与CBOW模型正好相反，Skip-Gram模型是根据中心单词（target word）来预测其上上下文信息（context words）。如图3所示，为Skip-Gram模型的结构示意图。

Skip-Gram

我们仍然使用 $\mathbf v_{\omega_I}$ 来表示输入层上唯一的那个单词的输入向量，因此，我们对于隐藏层的输出值 $h$ 的计算公式与第一节公式（1）相同，表示如下：

\begin{matrix} (24) & h = W_{(k, ∙)}^{T} := v_{ω_{I}} \end{matrix}

$\mathbf h = {\mathbf W}_{(k,\bullet)}^T := \mathbf v_{\omega_I}\tag {24}$

公式（24）显示： $\mathbf h$ 向量其实就是input->hidden权重矩阵 $W$ 的某一行结合输入单词 $ω_I$ 的向量拷贝。在输出层，与CBOW模型的输出为单个多项式分布不同的是，SG模型在输出层输出了C个多项式分布。每个输出都使用相同的hidden->output矩阵计算：

\begin{matrix} (25) & p (ω_{c, j} = ω_{O, c} | ω_{I}) = y_{c, j} = \frac{\exp (μ_{c, j})}{\sum_{j^{'} = 1}^{V} \exp (μ_{j}^{'})} \end{matrix}

$p(\omega_{c,j}=\omega_{O,c}|\omega_I)=y_{c,j}=\frac{\exp(\mu_{c,j})}{\sum_{{j}'=1}^V \exp(\mu_{j}')}\tag{25}$

其中， $\omega_{c,j}$ 表示输出层的第 $c$ 个panel的第 $j$ 个单词（何为panel?就是输出层的表示每个上下文单词的神经元的组合，图中一种有 $C$ 个context words，所以总共有 $C$ 个panel）； $\omega_{O,c}$ 实际上表示的是输出上下文单词（output context words）的第 $c$ 个单词； $ω_I$ 是唯一的输入单词； $y_{c,j}$ 为输出层的第 $c$ 个panel上的第 $j$ 个神经单元的概率输出值； $μ_{c,j}$ 表示的是输出层第 $c$ 个panel的第 $j$ 个神经元的输入值；由于输出层的所有panels共享同一权重矩阵 $\mathbf W′$ ,因此：

\begin{matrix} (26) & μ_{c, j} = μ_{j} = {v_{ω_{j}}^{'}}^{T} \cdot h, f o r c = 1, 2, . . ., C \end{matrix}

$\mu_{c,j}=\mu_j={\mathbf v_{\omega_j}'}^T\cdot \mathbf h, \space for \space c=1,2,...,C\tag{26}$

其中， $\mathbf v_{\omega_j}'$ 为词汇表第 $j$ 个单词 $ω_j$ 的输出向量；同样，它也是取自于hidden→→output权重矩阵 $\mathbf W′$ 的一列。

SG模型参数更新公式的推导过程与one-word-context 模型的推导过程大体上一样。这里我们将损失函数变为：

\begin{aligned} (27) & E = - \log p (ω_{O, 1}, ω_{O, 2}, . . ., ω_{O, C} | ω_{I}) \\ (6) & = - \log \prod_{c = 1}^{C} \frac{\exp (μ_{c, j_{c}^{*}})}{\sum_{j^{'} = 1}^{V} \exp (μ_{j^{'}})} \\ (7) & = - \sum_{c = 1}^{C} μ_{j_{c}^{*}} + C \cdot \log \sum_{j^{'} = 1}^{V} \exp (μ_{j^{'}}) \end{aligned}

$\begin{align} &E=-\log p(\omega_{O,1},\omega_{O,2},...,\omega_{O,C}|\omega_I)\tag{27}\\ &=-\log \prod_{c=1}^C \frac{\exp(\mu_{c,j_c^*})}{\sum_{j'=1}^V \exp(\mu_{j'})}\\ &=-\sum_{c=1}^C \mu_{j_c^* }+C\cdot\log\sum_{j'=1}^V\exp(\mu_{j'}) \end{align}$

其中， $j_c^*$ 为第 $c$ 个输出层输出的上下文单词在词汇表中的真实索引。
在得到损失函数 $E$ 之后，我们对输出层的每一个panel上的所有激活单元的输入值 $μ_{c,j}$ ,均求其关于 $E$ 的偏导数，得：

\begin{matrix} (30) & \frac{\partial E}{\partial μ_{c, j}} = y_{c, j} - t_{c, j} := e_{c, j} \end{matrix}

$\frac{\partial E}{\partial \mu_{c,j}}=y_{c,j}-t_{c,j}:=e_{c,j}\tag {30}$

其中 $e_{c,j}$ 为输出层神经元的预测误差，与公式（8）类似。为了简化符号，我们定义一个 $V$ 维的向量 $EI=\{EI_1,...,EI_V\}$ 作为所有上下文单词的预测误差之和， $EI_j$ 用公式定义如下：

\begin{matrix} (31) & E I_{j} = \sum_{c = 1}^{C} e_{c, j} \end{matrix}

$EI_j=\sum_{c=1}^C e_{c,j}\tag{31}$

下来，我们计算hidden->output权重矩阵 $\mathbf W'$ 关于 $E$ 的偏导数为：

\begin{matrix} (32) & \frac{\partial E}{\partial ω_{i j}^{'}} = \sum_{c = 1}^{C} \frac{\partial E}{\partial μ_{c, j}} \cdot \frac{\partial μ_{c, j}}{\partial ω_{i j}^{'}} = E I_{j} \cdot h_{i} \end{matrix}

$\frac{\partial E}{\partial \omega_{ij}'}=\sum_{c=1}^C\frac{\partial E}{\partial \mu_{c,j}}\cdot\frac{\partial \mu_{c,j}}{\partial \omega_{ij}'}=EI_j\cdot h_i\tag{32}$

这样，我们就得到了hidden→→output权重矩阵 $\mathbf W'$ 的参数更新公式为：

\begin{matrix} (33) & {ω_{i j}^{^{'}}}^{(n e w)} = {ω_{i j}^{^{'}}}^{(o l d)} - η \cdot E I_{j} \cdot h_{i} \end{matrix}

${\omega_{ij}^{'}}^{(new)}={\omega_{ij}^{'}}^{(old)}-\eta\cdot EI_j\cdot h_i\tag{33}$

或者

\begin{matrix} (34) & {v_{ω_{j}}^{'}}^{(n e w)} = {v_{ω_{j}}^{'}}^{(o l d)} - η \cdot E I_{j} \cdot h f o r j = 1, 2, . . ., V . \end{matrix}

${\mathbf v_{\omega_j}'}^{(new)}={\mathbf v_{\omega_j}'}^{(old)}-\eta \cdot EI_j \cdot \mathbf h \space\space\space for \space j=1,2,...,V.\tag{34}$

上述参数更新公式的直观概念理解与上文公式（11）无二，除了一点就是：输出层的预测误差的计算是基于多个上下文单词context words,而不是单个目标单词 target word;需注意的是对于每一个训练样本，我们都要利用该参数更新公式来更新hidden→→output权重矩阵 $\mathbf W'$ 的每个元素。
同样，对于input→→hidden权重矩阵 $\mathbf W$ 的参数更新公式的推导过程，除了考虑要将预测误差 $e_j$ 替换为 $EI_j$ 外，其他也与上文公式（12）到公式（16）类似。这里我们直接给出更新公式：

\begin{matrix} (35) & {v_{ω_{I}}}^{(n e w)} = {v_{ω_{I}}}^{(o l d)} - η \cdot E H^{T} \end{matrix}

${\mathbf v_{\omega_I}}^{(new)}={\mathbf v_{\omega_I}}^{(old)}-\eta \cdot EH^T\tag{35}$

其中， $EH$ 是一个 $N$ 维向量，组成该向量的每一个元素可以用如下公式表示：

\begin{matrix} (36) & E H_{i} = \sum_{j = 1}^{V} E I_{j} \cdot ω_{i j}^{'} \end{matrix}

$EH_i=\sum_{j=1}^V EI_j\cdot\omega_{ij}'\tag{36}$

公式（36）的直观理解与公式（16）类似，这里不作描述。

3 Optimizing Computational Efficiency

总结以上的模型介绍，我们发现所有模型的词汇表中的每个单词都存在两个向量表示形式：输入向量 $\mathbf v_ω$ 与输出向量 $\mathbf v′_ω$ .对于输入向量的参数学习成本并不高，但对于输出向量的学习成本代价是非常昂贵的。根据更新公式（22）和（23），我们可以发现，为了更新输出向量 $\mathbf v′_ω$ ，对于每一个训练样例，我们必须迭代遍历词汇表中所有的单词 $ω_j$ ，计算出它们的输入值 $μ_j$ 、概率预测值 $y_j$ （或者SG模型中的 $y_{c,j}$ ），预测误差 $e_j$ （或者SG模型的 $EI_j$ ）。最终使用预测误差更新它们的输出向量 $\mathbf v′_j$ .
显然，对于每一个训练样例都要对所有单词计算上述各值，其成本是昂贵的。特别是对于大型的词汇表，这种计算方式是不切实际的。因此为了解决这个问题，直观的方式是限制必须要更新的训练样例的输出向量的数目。一种有效的实现方式就是：hierarchical softmax（分层softmax），另一种实现通过采样的方式解决，我们在下个章节来讨论。
这两种方法都是通过只优化输出向量更新的计算过程来实现的。在我们的公式推导过程中，我们关心的有三个值：（1） $E$ ，新的目标函数；（2） $\frac{\partial E}{\partial \mathbf v_\omega'}$ ，新的关于输出向量的更新公式；（3） $\frac{\partial E}{\partial \mathbf h}$ ，为了更新输入向量反向传播的预测误差的加权和。

3.1 Hierarchical Softmax

Hierarchical softmax 是一种有效的计算 softmax 的方式。该模型使用一棵二叉树来表示词汇表中的所有单词。所有的 $V$ 个单词都在二叉树的叶节点上。非叶子节点一共有 $V−1$ 个。对于每个叶子节点，从根节点root到该叶子节点只有一条路径；这条路径用来评估用该叶子节点代表该叶子节点上单词的概率值。二叉树的结构如图4所示：

二叉树

其中白色的树节点代表的是词汇表中的单词，灰色节点为内部节点。图中高亮显示的是一条从根节点到 $ω_2$ 的路径。该条路径的长度为 $L(ω_2)=4$ 。 $n(ω,j)$ 表示从根节点到单词 $ω$ 的路径上的第 $j$ 个节点。
在hierarchical softmax模型中，所有的词汇单词没有输出向量表示形式。不同的是，二叉树的每一个内部节点都有一个输出向量 ${\mathbf v_{n(\omega,j)}'}$ 。因此一个单词作为输出单词的概率计算公式定义如下：

\begin{matrix} (37) & p (ω = ω_{O}) = \prod_{j = 1}^{L (ω) - 1} σ ([[n (ω, j + 1) = c h (n (ω, j))]] \cdot {v_{n (w, j)}^{'}}^{T} h) \end{matrix}

$p(\omega = \omega_O)=\prod_{j=1}^{L(\omega)-1}\sigma \bigg(\Big[\Big[n\big(\omega,j+1\big)=ch\big(n\small(\omega,j\small)\big)\Big]\Big]\cdot{\mathbf v_{n(w,j)}'}^T\mathbf h\bigg)\tag{37}$

其中， $ch(n)$ 为节点 $n$ 的左孩子节点； $v′_{n(ω,j)}$ 是内部节点 $n(ω,j)$ 的向量表示（输出向量）； $h$ 是隐藏层的输出值（在SG模型中， $h=v_{ω_I}$ ;而在CBOW模型中， $\mathbf h=\frac{1}{C}\sum_{c=1}^C \mathbf v_{\omega_c}$ ; $[[x]]$ 是一种特殊的函数定义如下：

\begin{matrix} (38) & [[x]] = {\begin{cases} 1 & if x is true \\ - 1, & otherwise \end{cases} \end{matrix}

$[[x]]= \begin{cases} 1 & \text{if $x$ is true} \\ -1, & \text{otherwise} \end{cases}\tag{38}$

接下来，我们通过一个直观地例子来理解公式（37）。如图4所示，假定我们需要计算单词 $ω_2$ 作为输出单词的概率。我们将这个概率定义为从根节点开始随机游走到叶节点 $ω_2$ 的概率。则在每一个内部节点（包括根节点），我们都需要确定其路径指向左孩子节点还是右孩子节点的概率。我们将经过内部节点的路径指向左孩子的概率定义为：

\begin{matrix} (39) & p (n, l e f t) = σ ({v_{n}^{'}}^{T} \cdot h) \end{matrix}

$p(n,left)=\sigma({\mathbf v_n'}^T\cdot\mathbf h)\tag{39}$

我们可以看出，公式（39）的值取决于内部节点的向量表示 $v′_n$ 和隐藏层的输出值 $h$ ( $h$ 的值取决于输入单词的向量表示)。显然，内部节点的路径指向右孩子的概率则可以表示为：

\begin{matrix} (40) & p (n, r i g h t) = 1 - σ ({v_{n}^{'}}^{T} \cdot h) = σ (- {v_{n}^{'}}^{T} \cdot h) \end{matrix}

$p(n,right)=1-\sigma({\mathbf v_n'}^T\cdot\mathbf h)=\sigma(-{\mathbf v_n'}^T\cdot \mathbf h)\tag{40}$

顺着图4中从根节点到单词 $ω_2$ 节点的路径，我们可以计算出 $ω_2$ 作为输出单词的概率为：

\begin{aligned} (8) & p (ω_{2} = ω_{O}) = p (n (ω_{2}, 1), l e f t) \cdot p (n (ω_{2}, 2), l e f t) \cdot p (n (ω_{2}, 3), r i g h t) \\ (42) & = σ ({v_{n (ω_{2}, 1)}^{'}}^{T} h) \cdot σ ({v_{n (ω_{2}, 2)}^{'}}^{T} h) \cdot σ (- {v_{n (ω_{2}, 3)}^{'}}^{T} h) \cdot \end{aligned}

$\begin{align} & p(\omega_2=\omega_O)=p\Big(n(\omega_2,1),left\Big)\cdot p\Big(n(\omega_2,2),left\Big)\cdot p\Big(n(\omega_2,3),right\Big)\\ & =\sigma \Big({\mathbf v_{n(\omega_2,1)}'}^T\mathbf h\Big)\cdot\sigma \Big({\mathbf v_{n(\omega_2,2)}'}^T\mathbf h\Big)\cdot\sigma \Big(-{\mathbf v_{n(\omega_2,3)}'}^T\mathbf h\Big)\cdot \tag{42} \end{align}$

不难证明

\begin{matrix} (43) & \sum_{i = 1}^{V} p (ω_{i} = ω_{O}) = 1 \end{matrix}

$\sum_{i=1}^{V}p(\omega_i=\omega_O)=1\tag{43}$

现在我们开始推导内部节点的向量表示形式的参数更新公式。为了简化步骤，我们首先考虑单个上下文单词（one-word context）的模型。
为了简化公式，我们定义子公式的简化符号如下：

\begin{matrix} (44) & [[\cdot]] := [[n (ω, j + 1) = c h (n (ω, j))]] \end{matrix}

$[[\cdot]]:=[[n(\omega,j+1)=ch(n(\omega,j))]]\tag{44}$

\begin{matrix} (45) & v_{j}^{'} := v_{n_{ω, j}}^{'} \end{matrix}

$\mathbf v_j':=\mathbf v_{n_{\omega,j}}'\tag{45}$

则，给定一个训练样例，其误差函数我们可以定义如下：

\begin{matrix} (46) & E = - \log p (ω = ω_{O} | ω_{I}) = - \sum_{j = 1}^{L (ω) - 1} \log σ ([[\cdot]] {v_{j}^{'}}^{T} h) \end{matrix}

$E=-\log p(\omega = \omega_O|\omega_I)=-\sum_{j=1}^{L(\omega)-1}\log\sigma([[\cdot]]{\mathbf v_j'}^T\mathbf h)\tag{46}$

对于误差函数 $E$ ，我们取其关于 $v′_jh$ 偏导数，得：

\begin{aligned} (47) & \frac{\partial E}{\partial v_{j}^{'} h} = (σ ([[\cdot]] {v_{j}^{'}}^{T} h) - 1) [[\cdot]] \\ (9) & = {\begin{cases} σ ({v_{j}^{'}}^{T} h) - 1, & [[.]]=1 \\ σ ({v_{j}^{'}}^{T} h), & [[.]]=-1 \end{cases} \\ (10) & = σ ({v_{j}^{'}}^{T} h) - t_{j} \end{aligned}

$\begin{align} &\frac{\partial E}{\partial \mathbf v_j'\mathbf h}=\Big(\sigma([[\cdot]]{\mathbf v_j'}^T\mathbf h)-1\Big)[[\cdot]]\tag{47}\\ &= \begin{cases} \sigma({\mathbf v_j'}^T\mathbf h)-1 ,&\text{[[.]]=1} \\ \sigma({\mathbf v_j'}^T\mathbf h),&\text {[[.]]=-1} \end{cases}\\ &=\sigma({\mathbf v_j'}^T\mathbf h)-t_j \end{align}$

其中 $t_j=1$ （如果 $[[⋅]]=1$ ）或者 $t_j=0$ （如果 $[[⋅]]=−1$ ）。
紧接着我们计算内部节点 $n(ω,j)$ 的向量表示 $v′_j$ 关于函数 $E$ 的偏导数，得：

\begin{matrix} (50) & \frac{\partial E}{\partial v_{j}^{'}} = \frac{\partial E}{\partial v_{j}^{'} h} \cdot \frac{\partial v_{j}^{'} h}{\partial v_{j}^{'}} = (σ ({v_{j}^{'}}^{T} h) - t_{j}) \cdot h \end{matrix}

$\frac{\partial E}{\partial \mathbf v_j'}=\frac{\partial E}{\partial \mathbf v_j'\mathbf h}\cdot \frac{\partial \mathbf v_j'\mathbf h}{\partial \mathbf v_j'}=\Big(\sigma({\mathbf v_j'}^T\mathbf h)-t_j\Big)\cdot \mathbf h\tag{50}$

因此，更新公式为：

\begin{matrix} (51) & {v_{j}^{'}}^{(n e w)} = {v_{j}^{'}}^{(o l d)} - η (σ ({v_{j}^{'}}^{T} h) - t_{j}) \cdot h, f o r j = 1, 2, . . ., L (ω) - 1 \end{matrix}

${\mathbf v_j'}^{(new)}={\mathbf v_j'}^{(old)}-\eta\Big(\sigma({\mathbf v_j'}^T\mathbf h)-t_j\Big)\cdot \mathbf h\space,\space for \space j=1,2,...,L(\omega)-1\tag{51}$

我们可以将 $\sigma({\mathbf v_j'}^T\mathbf h)-t_j$ 理解为内部节点 $n(ω,j)$ 的预测误差。每一个内部节点的“任务”就是预测其随机游走路径是指向左孩子节点还是指向右孩子节点。 $tj=1$ 意味着节点 $n(ω,j)$ 的路径指向左孩子节点； $tj=0$ 则表示指向右孩子节点。 $\sigma({\mathbf v_j'}^T\mathbf h)-t_j$ 是预测结果。对于一个训练实例，如果内部节点的预测值非常接近于真实值，则它的向量表示 $\mathbf v_j'$ 的更新变化很小；否则 $\mathbf v_j'$ 向量指向一个适当的方向是的该实例的预测误差逐渐减小。以上更新公式既能应用于CBOW模型，又能应用于SG模型。当在SG模型中使用该更新公式时，我们需要对C个output context words的每一个单词都重复此更新过程。

为了使用反向传播该预测误差来学习训练input→→hidden的权重，我们对误差函数 $E$ 求关于隐藏层输出值的偏导数，如下：

\begin{aligned} (11) & \frac{\partial E}{\partial h} = \sum_{j = 1}^{L (ω) - 1} \frac{\partial E}{\partial v_{j}^{'} h} \cdot \frac{\partial v_{j}^{'} h}{\partial h} \\ (12) & = \sum_{j = 1}^{L (ω) - 1} (σ ({v_{j}^{'}}^{T} h) - t_{j}) \cdot v_{j}^{'} \\ (54) & := E H \end{aligned}

$\begin{align} &\frac{\partial E}{\partial \mathbf h}=\sum_{j=1}^{L(\omega)-1}\frac{\partial E}{\partial \mathbf v_j'\mathbf h}\cdot\frac{\partial \mathbf v_j'\mathbf h}{\partial \mathbf h}\\ &=\sum_{j=1}^{L(\omega)-1}\Big(\sigma({\mathbf v_j'}^T\mathbf h)-t_j\Big)\cdot \mathbf v_j'\\ &:=EH\tag{54} \end{align}$

接下来我们根据公式（23）便可以获得CBOW模型输入向量的更新公式。对于SG模型，我们需要计算上下文信息中的每个单词的 $EH$ 值,并将 $EH$ 值的和带入公式（35）,就能够得到输入向量的更新公式。

从以上更新公式我们可以看出：经过改进的模型Hierarchical softmax的每个训练样例的每个上下文单词的计算复杂度从 $O(V)$ 降为 $O(log(V))$ 级别。但是模型的参数几乎没有什么改变（内部节点对应 $V-1$ 维向量，而原始模型的单词的输出向量维数为 $V$ ）。

3.2 Negative Sampling

Negative Sampling模型的思想比hierarchical softmax模型更直接了当,即：在每次迭代的过程中，有大量的输出向量需要更新，为了解决这一困难，negative sampling提出了只更新其中一部分输出向量的解决方案。
显然，最终需要输出的上下文单词（正样本）在采样的过程中应该保留下来并更新，同时我们需要采集一些单词作为负样本（因此称为“negative sampling”）。在采样的过程中，我们可以任意选择一种概率分布。我们将这种概率分布称为“噪声分布”（the noise distribution），用 $P_n(ω)$ 来表示。我们可以根据经验选择一种较好的分布。

在 word2vec中，我们无需使用一种能够产生良好定义的后验多项式分布的负采样形式，本文作者证明了使用下面简单的训练目标函数能够产生可靠的、高质量的 word embeddings:

\begin{matrix} (55) & E = - \log σ ({v_{ω_{O}}^{'}}^{T} h) - \sum_{ω_{j} \in W_{n e g}} \log σ ({- v_{ω_{j}}^{'}}^{T} h) \end{matrix}

$E=-\log \sigma({\mathbf v_{\omega_O}'}^T\mathbf h)-\sum_{\omega_j\in W_{neg}} \log \sigma({-\mathbf v_{\omega_j}'}^T\mathbf h)\tag{55}$

其中 $ω_O$ 是输出单词（the positive sample）， $\mathbf v′_{ω_O}$ 是输出向量； $\mathbf h$ 是隐藏层的输出值：在CBOW模型中 $\mathbf h=\frac{1}{C}\sum_{c=1}^{C} \mathbf v_{\omega_c}$ ，在SG模型中 $\mathbf h=\mathbf v_{\omega_I}$ ； $W_{neg}={\{\omega_j|j=1,...,K\}}$ 是基于分布 $P_n(ω)$ 采样的一系列单词。
为了获得negative sampling模型的词向量更新公式，我们首先计算 $E$ 关于输出单元 $ω_j$ 的输入 ${\mathbf v_{\omega_j}'}^T\mathbf h$ 的偏导数：

\begin{aligned} (13) & \frac{\partial E}{\partial {v_{ω_{j}}^{'}}^{T} h} = {\begin{cases} σ ({v_{ω_{j}}^{'}}^{T} h) - 1, & if ω_{j} = ω_{O} \\ σ ({v_{ω_{j}}^{'}}^{T} h), & if ω_{j} \in W_{n e g} \end{cases} \\ (57) & = σ ({v_{ω_{j}}^{'}}^{T} h) - t_{j} \end{aligned}

$\begin{align} &\frac{\partial E}{\partial{ \mathbf v_{\omega_j}'}^T\mathbf h}= \begin{cases} \sigma({\mathbf v_{\omega_j}'}^T\mathbf h)-1 ,&\text{if }\space \omega_j=\omega_O \\ \sigma({\mathbf v_{\omega_j}'}^T\mathbf h),&\text {if}\space\omega_j\in W_{neg} \end{cases}\\ &\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\sigma({\mathbf v_{\omega_j}'}^T\mathbf h)-t_j\tag{57} \end{align}$

其中，当 $ω_j$ 是一个正样本时， $t_j=1$ ；否则 $t_j=0$ 。接下来我们计算 $E$ 于单词 $ω_j$ 的输出向量的偏导数：

\begin{matrix} (58) & \frac{\partial E}{\partial v_{ω_{j}}^{'}} = \frac{\partial E}{\partial {v_{ω_{j}}^{'}}^{T} h} \cdot \frac{\partial {v_{ω_{j}}^{'}}^{T} h}{\partial v_{ω_{j}}^{'}} = (σ ({v_{ω_{j}}^{'}}^{T} h) - t_{j}) h \end{matrix}

$\frac{\partial E}{\partial \mathbf v_{\omega_j}'}=\frac{\partial E}{\partial {\mathbf v_{\omega_j}'}^T\mathbf h}\cdot \frac{\partial {\mathbf v_{\omega_j}'}^T\mathbf h}{\partial {\mathbf v_{\omega_j}'}}=\Big(\sigma({\mathbf v_{\omega_j}'}^T \mathbf h)-t_j\Big)\mathbf h \tag{58}$

因此输出向量的更新公式为：

\begin{matrix} (59) & {v_{ω_{j}}^{'}}^{(n e w)} = {v_{ω_{j}}^{'}}^{(o l d)} - η (σ ({v_{ω_{j}}^{'}}^{T} h) - t_{j}) h \end{matrix}

${\mathbf v_{\omega_j}'}^{(new)}={\mathbf v_{\omega_j}'}^{(old)}-\eta\Big(\sigma({\mathbf v_{\omega_j}'}^T\mathbf h)-t_j\Big)\mathbf h\tag{59}$

negative sampling的关键就是公式（59）的更新过程只应用于词汇表的子集 $\{\omega_j|\omega_j\in \{\omega_O\}\bigcup W_{neg}\}$ ,而并非应用于整个词汇表。
以上更新公式（59）的直观理解与公式（11）类似。公式（59）对两种应用模型CBOW和SG都适用。对于SG模型，我们每次更新一个上下文单词。

接着利用反向传播机制，计算 $E$ 关于隐藏层输出 $\mathbf h$ 的偏导数：

\begin{aligned} (60) & \frac{\partial E}{\partial h} = \sum_{ω_{j} \in {ω_{O}} ⋃ W_{n e g}} \frac{\partial E}{\partial {v_{ω_{j}}^{'}}^{T} h} \cdot \frac{\partial {v_{ω_{j}}^{'}}^{T} h}{\partial h} \\ (14) & = \sum_{ω_{j} \in {ω_{O}} ⋃ W_{n e g}} (σ ({v_{ω_{j}}^{'}}^{T} h) - t_{j}) v_{ω_{j}}^{'} := E H \end{aligned}

$\begin{align} &\frac{\partial E}{\partial \mathbf h}=\sum_{\omega_j \in\{\omega_O\}\bigcup W_{neg}}\frac{\partial E}{\partial {\mathbf v_{\omega_j}'}^T\mathbf h}\cdot \frac{\partial {\mathbf v_{\omega_j}'}^T\mathbf h}{\partial \mathbf h}\tag{60}\\ &=\sum_{\omega_j \in\{\omega_O\}\bigcup W_{neg}}\Big(\sigma({\mathbf v_{\omega_j}'}^T\mathbf h)-t_j\Big)\mathbf v_{\omega_j}':=EH \end{align}$

将 $EH$ 代入公式（23），我们就可以得到CBOW模型关于输入向量的更新公式；对于SG模型，我们需要计算出每个上下文单词的 $EH$ 值，将 $EH$ 值的和代入公式（35）就能够得到其输入向量的更新公式。

参考：
《word2vec Parameter Learning Explained》论文学习笔记

posted @ 2019-10-03 17:17 Jamest 阅读(1316) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）

公告

昵称： Jamest
园龄： 5年9个月
粉丝： 34
关注： 3

+加关注

2025年3月

日

一

二

三

四

五

六

Jamest

Paper Reading:word2vec Parameter Learning Explained

1 Continuous Bag-of-Word Model

1.1 One-word context

Update equation for hidden→output weights

Update equation for input→hidden weights

1.2 Multi-word context

2 Skip-Gram Model

3 Optimizing Computational Efficiency

3.1 Hierarchical Softmax

3.2 Negative Sampling

公告

搜索

常用链接

我的标签

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论