NLP自然语言处理

自然语言处理

  研究使用计算机编程来处理与理解人类语言。

应用场景

  机器翻译、情感分析、文本处理、聊天机器人。

通用技术

1.分词

  将连续文本分割成若干词汇

2.停用词过滤

  拿一个句子来说：主谓宾、定状补。经过停用词过滤以后就只剩下---主谓宾。

  词干提取和词形还原主要应用在英文等西方语言中。

3.词干提取

  是指对一个单词去掉后缀，还原为词本身。

4.词形还原

  是指同一单词不同形式的识别，将单词还原为标准形式。

5.词袋模型

  用来将文本转换成数值向量的表示形式。方式为将每个文档构建一个特征向量，其中包含每个单词在文档中出现的次数。

6.TF-IDF

  TF-IDF=TF(词频)*IDF(逆文档频率)
  TF(Term Frequency):词频统计，对文章中词语出现的频率进行计数统计。
  $TF=\frac{当前文档中单词出现的次数}{当前文档中包含的单词总数}$

  大众词出现的次数多，也不应该认为是重要的，因为在其它文档中出现的次数也多。为了更好的衡量大众词的价值，可用IDF来解决。

  IDF(Inverse Document Frequency):逆文档频率，指的是语料库中文档总数与语料库中包含该词的文档数，二者比值的对数（log）。
  $IDF=log\left ( \frac{语料库中文档总数}{语料库中包含该词的文档数+1} \right )$
举个例子：
  昨夜 星辰 昨夜风
  小马过河
  昨夜房上看月亮
  明天又是另外一天了
  "昨夜"在第一个文档中出现了2次，第一个文档总共包含4个词，总共存在4个文档，故 $TF=\frac{2}{4}$ , $IDF=log\left ( \frac{4}{2+1} \right )$
  "昨夜"的TF-IDF值为：$0.5\times log\left ( 4/3 \right )$

7.Word2Vec

  Word2Vec:Word2Vec是Google在2013年提出的一个开源算法，使用神经网络技术，可以将词表转化为向量表示。确切的说，就是将词映射为n维空间向量，特征维度n视具体的情况与需求而定。
  计算文本相似度：可先将词条转化成向量，从而根据余弦相似度来计算文本之间的相似性。