课后作业3
学号:2017035107135
姓名:孟哲
码云仓库:https://gitee.com/sybrjsjrg_br_jsj_rg/word_frequency
2.程序分析
1)读取文件到缓冲区
def process_file(dst): # 读文件到缓冲区
try: # 打开文件
p = open(dst,"r")
except IOError as s:
print (s)
return None
try: # 读文件到缓冲区
bvffer = p.read()
except:
print ("Read File Error!")
return None
p.close()
return bvffer
2)处理缓冲区,统计单词频率,修改特殊符号
def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq
for fh in ',.!?+-_':
#文本内容改为小写并去除符号
bvffer = bvffer.replace(fh, " ")
#删除两边空白符,并以空格分割字符串
words = bvffer.strip().split()
#循环判断,进行增值
for word in words:
word_freq[word] = word_freq.get(word, 0) + 1
return word_freq
3)输出频率前十的单词
def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print(item)
4)执行函数
if __name__ == "__main__":
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('dst')
args = parser.parse_args()
dst = args.dst
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)
5)运行结果
大文件:Gone_with_the_wind.txt
小文件:A_Tale_of_Two_Cities.txt
3.性能分析及改进
1)共有452995次函数调用,程序总共耗时0.250秒
2)执行次数最多
3)执行时间耗时最长
![](https://img2018.cnblogs.com/blog/1630698/201904/1630698-20190409132613902-616099772.png)
总结:初步了解学习了词频统计
对于Git的用法还要多多了解学会 很好用
继续加强