Python实现结巴分词统计高频中文词汇

代码

# 读取文件
fn = open('youxi.txt', 'rt', encoding='utf-8')  # 打开文件
string_data = fn.read()  # 读出整个文件
fn.close()  # 关闭文件

# 文本预处理
pattern = re.compile(u'\t|\n|\.|-|:|;|\)|\(|\?|"')  # 定义正则表达式匹配模式
string_data = re.sub(pattern, '', string_data)  # 将符合模式的字符去除

# 文本分词
seg_list_exact = jieba.cut(string_data, cut_all=False)  # 精确模式分词
object_list = []

# 分词并去除停用词
remove_words = set()
fr = open('stopword.txt', encoding = 'UTF-8')
for word in fr:
    remove_words.add(str(word).strip())
fr.close()

for word in seg_list_exact:  # 循环读出每个分词
    if word not in remove_words:  # 如果不在去除词库中
        object_list.append(word)  # 分词追加到列表

# 词频统计
word_counts = collections.Counter(object_list)  # 对分词做词频统计
word_counts_top10 = word_counts.most_common(100)  # 获取前100最高频的词
print(word_counts_top10)  # 输出检查

需要引入的库

import re  # 正则表达式库
import collections  # 词频统计库
import numpy as np  # numpy数据处理库
import jieba  # 结巴分词

文件内容示例

 

处理结果示例（前100）