中文词频统计

老师：MissDu 提交作业

---

下载一长篇中文文章。

从文件读取待分析文本。

news = open('gzccnews.txt','r',encoding = 'utf-8')

安装与使用jieba进行中文分词。

pip install jieba

import jieba

list(jieba.lcut(news))

生成词频统计

排序

排除语法型词汇，代词、冠词、连词

输出词频最大TOP20

 

import jieba

txt = open('xiaoshuo.txt', 'r', encoding='utf-8')

str = txt.read()
txt.close()
word=list(jieba.lcut(str))
sign=['，','.','\n','『',' ','。','』','”','“','他','了','是','也','我','就','这','？','那','不','三','色','着','的','和','但','都','你','中','却','：']

dic = {}
for i in word:
        dic[i] = dic.get(i,0)+1

for i in sign:
    if i in dic:
        del dic[i]
str = list(dic.items())

str.sort(key=lambda x: x[1], reverse=True)
for i in range(20):
    print(str[i])

　截图：