[CS224N] Note on Word2vec

[CS224N] Note1

word2vec

在word2vec中，假设有一个语句A{w1,w2,w3,w4,...,wn}，一个有序集合，对于每一个元素（也就是单词），都有两种向量表示：outside vector & center vector。 设向量长度为x，那么这些单词构成矩阵outside matrix 和 center matrix，size=n*x。

Softmax

Max->放大最大的元素

Soft->不放弃较小的元素

Model Training

Training的参数$\theta $如图所示，V个词，词向量长度为d。

这边2的意思是因为要有两个矩阵: center和outside