Data Flow ->> Term Extraction

中文意思是关键词抽取，用于计算在文本中哪些词汇或者词组出现的频率最高。其实算法有两张：1）Frequency 2）TFIDF

 

TFIDF的全称是Term Frequency and Inverse Document Frequency，是一个用于计算单词或词组在在整个文本中出现的几率。下面是这个公式的表达式：

TDIDF (of a term or phrase) = (frequency of term) * log((# rows in sample)/(# rows with term or phrase))

 

这里的输入栏位必须为DT_WSTR或者DT_NTEXT。

 

结果输出Term和Score两个字段。