TF-IDF

　　TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。

　　TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

　　TF-IDF的主要思想是：如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

$TF - IDF\left( x \right) = TF\left( x \right) \cdot IDF\left( x \right)$

其中TF是词频(Term Frequency)，表示词条（关键字）在文本中出现的频率。这个数字通常会被归一化(一般是词频除以文章总词数,也可以除以文章中出现最多的词的数目), 以防止它偏向长的文件。IDF是逆文档频率，$IDF\left( x \right) = \log \frac{N}{{N\left( x \right){\rm{ + 1}}}}$，N代表语料库中文本的总数，而N(x)代表语料库中包含词x的文本总数。

 

TF-IDF算法实现简单快速，但是仍有许多不足之处：

（1）没有考虑特征词的位置因素对文本的区分度，词条出现在文档的不同位置时，对区分度的贡献大小是不一样的。

（2）按照传统TF-IDF，往往一些生僻词的IDF(反文档频率)会比较高、因此这些生僻词常会被误认为是文档关键词。

（3）传统TF-IDF中的IDF部分只考虑了特征词与它出现的文本数之间的关系，而忽略了特征项在一个类别中不同的类别间的分布情况。

（4）对于文档中出现次数较少的重要人名、地名信息提取效果不佳。

 

参考博客：

https://blog.csdn.net/asialee_bird/article/details/81486700