摘要:
词袋模型和句子相似度 词袋模型(bag of words ,BOW) 词袋模型能够把一个句子转化为向量表示,是比较简单直白的一种方法,它不考虑句子中单词的顺序,只考虑此表中单词在这个句子中的出现的次数。 "John likes to watch movies, Mary likes movies t 阅读全文
摘要:
词向量 one hot 编码 在自然语言处理中,为了将自然语言转化为计算机所能识别的语言,就要对它重新编码,起初使用one hot编码。 一共能产生14901维。 问题:占用太大空间,词和词之间的相识度无法体现。也就是所说的稀疏化。 one hot代码如下: from sklearn.preproc 阅读全文