课后作业3

学号：2017035107135

姓名：孟哲

码云仓库：https://gitee.com/sybrjsjrg_br_jsj_rg/word_frequency

2.程序分析

1）读取文件到缓冲区

def process_file(dst):     # 读文件到缓冲区
    try:     # 打开文件
        p = open(dst,"r")   
    except IOError as s:
        print (s)
        return None
    try:     # 读文件到缓冲区
        bvffer = p.read()
    except:
        print ("Read File Error!")
        return None
    p.close()

    return bvffer

2）处理缓冲区，统计单词频率，修改特殊符号

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        for fh in ',.!?+-_':
        #文本内容改为小写并去除符号
           bvffer = bvffer.replace(fh, " ")
        #删除两边空白符，并以空格分割字符串
        words = bvffer.strip().split()
        #循环判断，进行增值
        for word in words:
            word_freq[word] = word_freq.get(word, 0) + 1
        
        return word_freq

3）输出频率前十的单词

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
            print(item)

4）执行函数

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('dst')
    args = parser.parse_args()
    dst = args.dst
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

5）运行结果

大文件：Gone_with_the_wind.txt

 

 

小文件：A_Tale_of_Two_Cities.txt

 

3.性能分析及改进

1）共有452995次函数调用，程序总共耗时0.250秒

2）执行次数最多

 

3）执行时间耗时最长

 

 

 

 

 

总结：初步了解学习了词频统计
对于Git的用法还要多多了解学会 很好用
继续加强