软工作业3：个人编程练习--Python统计词频

正因为生来什么都没有，因此我们能拥有一切。 --《游戏人生》

 

一、程序分析

1、读文件到缓冲区

def process_file(dst):     # 读文件到缓冲区
    try:     # 打开文件
        f = open(dst,'r')
    except IOError,s:
        print s
        return None
    try:     # 读文件到缓冲区
        bvffer = f.read()
    except:
        print "Read File Error!"
        return None
    f.close()
    return bvffer

2、缓冲区处理

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        bvffer.lower() # 把所有字母全部转化成小写
        char={"~@#$%^&*()_-+=<>?/,.:;{}[]|\'“”"}
        for ch in char :    
            bvffer=bvffer.replace(ch,' ')   # 除去标点符号，注意别忘记去除中文标点
        words=bvffer.strip().split()        # 单词分散成列表
        for word in words:
            word_freq[word]=word_freq.get(word,0) + 1
        return word_freq

 3、打印TOP 10 词频单词

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
            print item

4、main 函数

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('dst')
    args = parser.parse_args()
    dst = args.dst
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

二、代码风格说明

Python语句书写规则如下。

（1）使用换行符分隔，一般情况下，一行一条语句。

（2）从第一列开始，前面不能有任何空格，否则会产生语法错误。

（3）复合语句中，结构体语句块相对头部语句缩进4个空格。

例如：1、读取文件到缓冲区的第1行、第2行、第3行 有4个空格的缩进。

三、程序运行截图

环境：Centos 7.5 64位  python 2.7.5 

命令：$ python word_freq.py Gone_with_the_wind.txt 

四、性能分析结果及改进

性能分析结果如下：

（点击图片查看大图）

执行时间最长的代码是：process_buffer 缓冲区处理模块

执行次数最多的代码是：output_result 中的 sort 排序代码

（若有误，请指出！）

 

 

使用Gprof2Dot进行性能分析的图形结果如下：

（点击图片查看大图）

执行代码：

输出图形结果：

 

 

通过图形可以看到，split()方法 和 get()方法消耗了大量的时间。

改进思路，由于split()方法必须使用，所以不做改动。不使用get()，而是使用原始的判断方法来计数词频

原代码：

for word in words:
    word_freq[word]=word_freq.get(word,0) + 1

 

修改后：

for word in words:
    if word in word_freq:
        word_freq[word] = word_freq[word] + 1
    else:
        word_freq[word] = 1

再次运行，查看性能分析：

（点击图片查看大图）

缓冲区处理模块的运行时间有所减少。