5分钟 NLP系列—— 11 个词嵌入模型总结

TF-IDF, Word2Vec, GloVe, FastText, ELMO, CoVe, BERT, RoBERTa

词嵌入在深度模型中的作用是为下游任务(如序列标记和文本分类)提供输入特征。在过去的十年中，已经提出了很多种词嵌入方法，本片文章将对这些词嵌入的模型做一个完整的总结

与上下文无关

这类模型学习到的表征的特点是，在不考虑单词上下文的情况下，每个单词都是独特的和不同的。

不需要学习

Bag-of-words（词袋）:一个文本（如一个句子或一个文档）被表示为它的词袋，不考虑语法、词序。

TF-IDF:通过获取词的频率(TF)并乘以词的逆文档频率(IDF)来得到这个分数。

需要进行学习

Word2Vec：经过训练以重建单词的语言上下文的浅层（两层）神经网络。Word2vec 可以利用两种模型架构中的任何一种：连续词袋 (CBOW) 或连续skip-gram。在 CBOW 架构中，模型从周围上下文词的窗口中预测当前词。在连续skip-gram架构中，模型使用当前词来预测上下文的周围窗口。

GloVe（Global Vectors for Word Representation）：训练是在语料库中汇总的全局单词-单词共现统计数据上执行的，结果表示显示了单词向量空间的线性子结构。

FastText：与 GloVe 不同，它通过将每个单词视为由字符 n-gram 组成而不是整个单词来嵌入单词。此功能使其不仅可以学习生僻词，还可以学习词汇表外的词。

完整文章

https://www.overfit.cn/post/041316bd8f654eb38ce4731509e9ba15