中文词频统计

  1. 下载一中文长篇小说,并转换成UTF-8编码。
  2. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。
  3. 排除一些无意义词、合并同一词。
  4. 对词频统计结果做简单的解读。
import jieba
news=open('haha.txt','r',encoding='utf-8').read()
words=list(jieba.cut(news))
exp={','}
keys =set(words)-exp#键的集合

dic={} 
for i in keys:
    if len(i)>1:
        dic[i]=words.count(i)#单词计数字典
w=list(dic.items())
w.sort(key=lambda x:x[1],reverse=True)#列表排序

for j in range(20):#输出TOP20元组
    print(w[j])

航母自从诞生以来,一直就是海上霸王。世界大国几十年前就早已拥有,唯独中国不会制造,要购买也受封锁。不过,尽管如此,中国没有放弃对航母的探索。从上世纪末,我国先后从国外购进四艘航母舰壳壳体,其中广州造船厂从澳大利亚购买了一艘叫做“墨尔本”号的航母,这艘航母的经历可谓是非常传奇。
航母的“舰载机弹射和回收设备(ALRE)”主管加布里埃尔·昆林表示,二号弹射器完成这个里程碑事件,对于每天在航母上进行弹射器工作的船员而言,是非常令人兴奋的,因为他们明白,每次弹射都离目标更进一步。

解读:词频的统计后进行排序输出。

posted @ 2017-09-29 11:41  070王学竞  阅读(256)  评论(0编辑  收藏  举报