Python 中文词频统计，热词统计，简要分析（含上手源码）

jieba库有三种模式

     精确模式、全模式、搜索引擎模式

         - 精确模式：把文本精确的切分开，不存在冗余单词
         - 全模式：把文本中所有可能的词语都扫描出来，有冗余

         - 搜索引擎模式：在精确模式基础上，对长词再次切分

应用实例：

 

 代码：

import jieba

file = open('E:/578095023/FileRecv/寒假作业/test.txt', encoding="utf-8")
txt = file.read()
#words = jieba.lcut(txt)  #无空格
#words = jieba.lcut(txt,cut_all=True)   #有空格
words = jieba.lcut_for_search(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    else:
        counts[word] = counts.get(word, 0) + 1

items = list(counts.items())

items.sort(key=lambda x: x[1], reverse=True)
# items.sort(reverse = True)
for i in range(20):
    word, count = items[i]
    print(word, count)
#    print('{0:<10}{1:>5}'.format(word,count))