cs224d---词向量表示

1 Word meaning

1. 1 word meaning的两种定义

Definition meaning：单词的含义指代了客观存在的具体事物，如眼镜。

Distributional similarity meaning：上下文代表了单词的含义，如下：

Distributional similarity meaning也是word2vec算法的基本假设。

 

2 word2vec

2.1 word2vec概览

word2vec是一个软件包，包含了两种算法（skip-gram和CBOW），以及两种高效的训练方式。本节先介绍低效简单的训练方式，之后再介绍这两种高效方法。

 

2.2 skip-gram

（1）思想：用中心词预测上下文的词。

（2）损失函数：

其中条件概率用softmax方式计算：

 

（3）整个skip-gram的前向传播过程

 

（4）训练

梯度下降（略）