word2vec
Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。
Word Embedding：将「不可计算」「非结构化」的词转化为「可计算」「结构化」的向量。
Word2vec 是 Word Embedding 方式之一，属于 NLP 领域。这种方式在 2018 年之前比较主流，但是随着 BERT、GPT2.0 的出现，这种方式已经不算效果最好的方法了。
Word2vec 是 2013 年由谷歌的 Mikolov 提出的一套新的词嵌入方法。
Word2vec 的 2 种训练模式
CBOW(Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model)，是Word2vec 的两种训练模式。
CBOW
通过上下文来预测当前值。相当于一句话中扣掉一个词，让你猜这个词是什么。
Skip-gram
用当前词来预测上下文。相当于给你一个词，让你猜前面和后面可能出现什么词。
优化方法
为了提高速度，Word2vec 经常采用 2 种加速方式：
- Negative Sample（负采样）
- Hierarchical Softmax
优点：
- 由于 Word2vec 会考虑上下文，跟之前的 Embedding 方法相比，效果要更好（但不如 18 年之后的方法）
- 比之前的 Embedding方 法维度更少，所以速度更快
- 通用性很强，可以用在各种 NLP 任务中
缺点：
- 由于词和向量是一对一的关系，所以多义词的问题无法解决。
- Word2vec 是一种静态的方式，虽然通用性强，但是无法针对特定任务做动态优化
参考资料：
