中文词频统计

import jieba
f=open('hlm.txt','r')
text=f.read()
notelist=list(jieba.lcut(text))

textdic={}
for i in set(notelist):   #计算次数
    textdic[i]=notelist.count(i)

delete={'',' ','','', '', '', '', '','','','','','','','\n','','','"','','','\u3000','',
             '','','','','','','他们','','我们','','','你们','便','','','','',}

for i in delete:     #删除非法词汇
    if i in textdic:
        del textdic[i]

word = sorted(textdic.items(), key= lambda d:d[1], reverse = True)  # 由大到小排序
for i in range(10):  #输出词频Top10
    print(word[i])



问题:使用长篇小说时候会报错,下面是使用小说部分内容进行的中文词频查询。

运行截图如下:

 

posted @ 2018-03-28 13:23  loadingwhat  阅读(161)  评论(0编辑  收藏  举报