python字频统计
中文信息处理课,老师让写个字频统计的程序,我能够写出来,但是运行速度很慢。
希望路过的大神给我提点意见。
import os
import os.path
import codecs
import pandas
import numpy
import jieba
#创建词库
corpos = pandas.DataFrame(columns=['filePath','content'])
for root ,dirs,files in os.walk(r'E:\大三下\王东波\19113114 - 副本'):
for name in files:
filePath=root+'\\'+name
f = codecs.open(filePath,'r','utf-8')
content=f.read()
f.close()
corpos.loc[len(corpos)+1]=[filePath,content.strip()]
segments = pandas.DataFrame(columns=['segment'])
for content in corpos['content']:
for i in range(len(content)):
segments.loc[len(segments)+1]=[content[i]]
segStat = segments.groupby(
by="segment"
)["segment"].agg({
"计数":numpy.size
});