中文词频统计与词云生成

本次作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822

一、中文词频统计

1. 下载一长篇中文小说。

2. 从文件读取待分析文本。

3. 安装并使用jieba进行中文分词。

pip install jieba

import jieba

jieba.lcut(text)

4. 更新词库，加入所分析对象的专业词汇。

jieba.add_word('天罡北斗阵')  #逐个添加

jieba.load_userdict(word_dict)  #词库文本文件

参考词库下载地址：https://pinyin.sogou.com/dict/

转换代码：scel_to_text

5. 生成词频统计

6. 排序

7. 排除语法型词汇，代词、冠词、连词等停用词。 

8. 输出词频最大TOP20，把结果存放到文件里

9. 生成词云。

二、实现

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import pandas as pd

def get_text(file):
    fp=open(file,'r',encoding='utf-8').read()
    stop_words=open('stops_chinese.txt','r',encoding='utf-8').read()
    #更新词库
    jieba.load_userdict('SAO.txt')
    words_list = jieba.lcut(fp)
    #移除停用词
    stop_words = stop_words.split('\n')
    tokens = [token for token in words_list if token not in stop_words]
    # return tokens
    # 用空格分隔词语
    tokenstr = ' '.join(tokens)
    ciyun = WordCloud().generate(tokenstr)
    #词频统计
    word_dict = {}
    words_set = set(tokens)
    for w in words_set:
        if len(w)>1:
            word_dict[w] = tokens.count(w)
    #排序
    words_sort = sorted(word_dict.items(), key=lambda x: x[1], reverse=True)
    #输出词频top20
    words_sort1 = words_sort[:20]
    for i in range(20):
        print(words_sort1[i])
    #显示词云
    plt.imshow(ciyun)
    plt.axis('off')
    plt.show()
    return words_sort1

if __name__ == '__main__':
    words_sort = fp = get_text('Sword Art Online 4 -Alicization-.txt')
    pd.DataFrame(data=words_sort).to_csv('sao_top20.csv',encoding='utf-8')