Python词频统计

• 学号：2017***7177
• 姓名：孙福瑞
• 码云地址：https://gitee.com/sqdxb/python__word_frequency_count/tree/SE%2B7177/

---

1.程序分析，对程序中的四个函数做简要说明。要求附上每一段代码及对应的说明。

⑴首先定义def process_file函数，将文件读到缓冲区并关闭，用open（）打开文件、read（）读取文件、close（）关闭文件

def process_file(dst):     # 读文件到缓冲区
    try:     # 打开文件
        f1 = open(dst, "r")
    except IOError as s:
        print (s)
        return None
    try:     # 读文件到缓冲区
        bvffer = f1.read()
    except:
        print ("Read File Error!")
        return None
    f1.close()

    return bvffer

⑵将读取出的文件放入缓冲区中，对数据进行操作，切割字符串中的符号分开单词，统计每个单词的频率，存放在字典word_freq

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        
        bvffer=bvffer.lower()
        for x in '~!@#$%^&*()_+/*-+\][':
            bvffer=bvffer.replace(x, " ")
        words=bvffer.strip().split()
        for word in words:
            word_freq[word]=word_freq.get(word,0)+1

        return word_freq

⑶遍历切割完的字符串，并输出统计频率Top 10 的单词

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
            print(item)

⑷封装main函数，

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('dst')
    args = parser.parse_args()
    dst = args.dst
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

2.性能分析结果及改进。

指出执行次数最多的代码，执行时间最长的代码。


给出改进优化的方法以及你的改进代码

3.程序运行命令、运行结果截图以及改进后的程序运行命令及结果截图 。

此行代码为统计Top10单词 python word_freq.py Gone_with_the_wind.txt

此行代码为词频分析 python -m cProfile word_freq.py Gone_with_the_wind.txt
以下为部门结果图片

4.给出你对此次任务的总结与反思

 本次作业我在最后一天才做完，因为在字符串切割的部分卡了一下，毕竟很长使用没有用python了，字符串切割就是在格微做词典的时候用过，之后就没怎么接触过，现在从新捡起来感觉很吃力。我这次作业的是参考“软嵌161周展-python统计词频”的博文所完成的，看完这边博文真的学到了很多，复习了课上讲的，也百度了切割字符串，总的来说自己算是能简单的使用这一小部分了吧。