python字频统计

中文信息处理课,老师让写个字频统计的程序,我能够写出来,但是运行速度很慢。

希望路过的大神给我提点意见。

import os
import os.path
import codecs
import pandas
import numpy
import jieba

#创建词库
corpos = pandas.DataFrame(columns=['filePath','content'])
for root ,dirs,files in os.walk(r'E:\大三下\王东波\19113114 - 副本'):
for name in files:
filePath=root+'\\'+name
f = codecs.open(filePath,'r','utf-8')
content=f.read()
f.close()
corpos.loc[len(corpos)+1]=[filePath,content.strip()]

segments = pandas.DataFrame(columns=['segment'])
for content in corpos['content']:
for i in range(len(content)):
segments.loc[len(segments)+1]=[content[i]]

segStat = segments.groupby(
by="segment"
)["segment"].agg({
"计数":numpy.size
});

posted @ 2016-05-20 13:10  草莓干123456  阅读(872)  评论(0编辑  收藏  举报