离散表示:

one-hot

bag of words --

词权重 ~不能表示顺序关系
    TF-IDF (Term Frequency - Inverse Document Frequency) 

    [0.693, 1.386, 0.693, 0.693, 1.099, 0, 0, 0, 0.693, 0.693]

    词t的IDF weight N: 文档总数, nt: 含有词t的文档数

  Binary weighting
    [1, 1, 1, 1, 1, 0, 0, 0, 1, 1]不能表示顺序关系

Bi-gram和N-gram

  Unigram/1-gram

  Bi-gram/2-gram
  P(Mary likes too) = P(too | Mark, likes) * P(likes | Mary) * P(Mary)
          = P(too | likes) * P(likes | Marry) * P(Mary)

 

分布式表示 (Distributed representation)

  用一个词附近的其他词来表示该词

 

共现矩阵 (Cocurrence matrix)

  Word - Document 的共现矩阵主要用于发现主题(topic), 用于主题模型, 如LSA (Latent Semantic Analysis)。局域窗中的Word - Word 共现矩阵可以挖掘语法和语义信息

  用SVD对共现矩阵向量做降维

 

NNLM (Neural Network Language model)

  直接从语言模型出发, 将模型最优化过程转化为求词向量表示的过程

  投影矩阵:词10000个  则10000*1-》300*1,相当于取出投影矩阵对应的该单词的那一列

  拼接

  最后要得到的结果是: 我 爱 北京 三个词都出现后,接下来一个词是什么--softmax给出1*10000的概率向量

 

word2vec: CBOW(连续词袋)  --

  没有用NNLM中的hidden layer(即去掉了非线性层,这样用cpu就可以做,不是个神经网络)

  不做投射层了,而作一个词向量查询表

  输入的时候直接是四个词的稠密向量--随机初始化

  没有用拼接300-》900维,而是sum300-》300

  输出还是10000维词向量,概率最大的就是预测出的词 

  两边的词预测中间的一个词- Continuous Bag-of-Words

  中间的一个词预测两边- skip gram

  改进--最后一层十万维维度太高

    hirerachical softmax:编码成更低维度,并且信息都在 --》树--》哈夫曼编码,层次softmax,连续做做决策,计算量变为树的深度logv的数量级

    negative sampling负例采样:10000个样本,中有10000-1个负样本 --》只取部分负样本--》如何取使得不影响结果:不是随机的,与我 喜欢 你 三个词的频率有关

    

离散表示
•  One-hot representation, Bag Of Words Unigram语言模型
•  N-gram词向量表示和语言模型
•  Co-currence矩阵的行(列)向量作为词向量
分布式连续表示
•  Co-currence矩阵的SVD降维的低维词向量表示
•  Word2Vec: Continuous Bag of Words Model
•  Word2Vec: Skip-Gram Mode