作业 5：词频统计——增强功能

一、基本信息 

（一）本次作业的地址：https://edu.cnblogs.com/campus/ntu/Embedded_Application/homework/2300

（二）项目Git的地址：https://gitee.com/ntucs/PairProg/tree/SE016_017

（三）开发环境：Pycharm2018、Python3.6

（四）结对成员：1613072016 高耀、1613072017 钱金

二、项目分析

（一）程序运行模块（方法、函数）介绍 

（1）封装功能的wClass.py模块 

import re
from string import punctuation

#  把基本功能里的:统计单词数、统计最多的单词及其词频封装成一个独立的类
class wClass(object):
    # 构造函数
    # input_dst:读入的文件路径 word_len:统计的词组长度  out_num 输出的单词数量  result_dst:生成文件的存储路径
    def __init__(self, input_dst, word_len, out_num, result_dst):
        self.input_dst = input_dst
        self.word_len = word_len
        self.out_num = out_num
        self.result_dst = result_dst

    # 读文件到缓冲区，统计文本行数
    def process_file(self):
        try:  # 打开文件
            file = open(self.input_dst, 'r')  # dst为文本的目录路径
        except IOError as e:
            print(e)
        # 读文件到缓冲区,统计文本行数
        lines = len(file.readlines())
        with open(self.input_dst) as f:
            bvf = f.read()
        f.close()
        return bvf, lines

    # 处理缓冲区，返回字典word_freq，单词总数
    def process_buffer(self, bvf):
        if bvf:
            # 将文本内容都小写
            bvf = bvf.lower()
            # 用空格消除文本中标点符号
            words = bvf.replace(punctuation, ' ').split(' ')
            # 停词表模块
            stop_words = open("stopwords.txt", 'r').read()  # 读取停词表文件,默认
            # 正则匹配
            regex = ''
            # 当统计的是单个单词时，正则匹配至少以4个英文字母开头，跟上字母数字符号，单词以分隔符分割，不区分大小写
            for i in range(self.word_len):
                regex += '[A-Za-z]+'
                if i < self.word_len - 1:
                    regex += '\s'
            result = re.findall(regex, bvf)  # 正则查找词组
            word_freq = {}
            for word in result:  # 将正则匹配的结果进行统计
                if word not in stop_words:  # 当单词不在停词表中时，使用正则表达式匹配
                    word_freq[word] = word_freq.get(word, 0) + 1
            return word_freq, len(words)

    # 返回统计最多的单词及其词频
    def get_word_freq(self, word_freq):
        if word_freq:
            sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        return sorted_word_freq[:self.out_num]

    # 控制台输出、写入文件
    def print_result(self):
        # 在控制台输出
        # 输出前out_num个长度为word_len的词组及其词频
        print(self.input_dst + '词汇统计情况:')
        bvf, lines = wClass.process_file(self)
        word_freq, words_len = wClass.process_buffer(self, bvf)
        lines = 'lines:' + str(lines)
        words = 'words:' + str(words_len)
        print(lines)
        print(words)
        items = wClass.get_word_freq(self, word_freq)
        print('长度为' + str(self.word_len) + '的词组及前'+str(self.out_num)+'的词频：')
        for item in items:  # 格式化
            print('<' + str(item[0]) + '>:' + str(item[1]))
        # 写入文件
        try:
            result = open(self.result_dst, "w")  # 以写模式打开，并清空文件内容
        except Exception as e:
            print(e)
            result = open(self.result_dst, "x")  # 文件不存在，创建文件并打开
        # 写入文件result.txt
        result.write(lines + "\n")
        result.write(words + "\n")
        for item in items:
            item = '<' + str(item[0]) + '>:' + str(item[1]) + '\n'
            result.write(item)
        print('写入'+self.result_dst+'文件已完成')
        result.close()

 

（2）调用模块和性能分析的wordCount.py文件

# 编译环境：Pycharm2018、Python3.6
# 项目名称：结对项目之词频统计——增强功能
# filename：WordCount.py
# 作者：1613072016  高耀  1613072017  钱金
import wClass
import argparse
import cProfile
import pstats


# 读取输入，执行操作
def main():
    parser = argparse.ArgumentParser()
    parser.add_argument('-i', type=str, default='input.txt')   # 默认读入的文件路径
    parser.add_argument('-m', type=int, default=1)             # 默认统计的词组长度为1
    parser.add_argument('-n', type=int, default=5)             # 默认统计词频前5的词组
    parser.add_argument('-o', type=str, default='output.txt')  # 默认的生成文件的存储路径
    args = parser.parse_args()
    obj = wClass.wClass(args.i, args.m, args.n, args.o)
    obj.print_result()

# 性能分析
if __name__ == '__main__':
    # 使用cProfile进行性能分析
    cProfile.run("main()", filename="result2.out")
    # 创建Stats对象
    p = pstats.Stats('result2.out')
    p.strip_dirs().sort_stats("call").print_stats(10)  # 按照调用的次数排序
    p.strip_dirs().sort_stats("cumulative").print_stats(10)  # 按执行时间次数排序

 

（二）程序算法的时间、空间复杂度分析 

（1）时间复杂度：以耗时最长的process_buffer函数举例：

         由性能分析得出re.findAll()方法耗时最长，Average Case下时间复杂度为O(nlog2n)，其他代码段时间复杂度近似O(n)，所以程序算法时间复杂度近似O(nlog2n)

         附：re.findAll()函数：返回string中所有非重叠的匹配——字符串列表

（2）空间复杂度--主要是从input.txt中读取文章，近似O(n)

 

（三）程序每项新增功能运行案例截图【截图结果是使用停词表模块】

         【在程序中默认指定-i,-m,-n,-o的值】

    parser.add_argument('-i', type=str, default='input.txt')   # 默认读入的文件路径
    parser.add_argument('-m', type=int, default=1)             # 默认统计的词组长度为1
    parser.add_argument('-n', type=int, default=5)             # 默认统计词频前5的词组
    parser.add_argument('-o', type=str, default='output.txt')  # 默认的生成文件的存储路径

（1）只指定读入的文件路径input.txt

(2)指定读入的文件路径input.txt、统计的词组长度2

(3)指定读入的文件路径input.txt、统计的词组长度2、统计词频前10的词组

(4)指定读入的文件路径input.txt、统计的词组长度3、统计词频前5的词组、生成文件的存储路径output.txt

(5)参数之间的顺序不固定，指定读入的文件路径input.txt、统计的词组长度3、统计词频前5的词组、生成文件的存储路径output.txt

 

三、性能分析

（一）性能图表

（1）使用cProfile进行性能分析（以上面截图的第一个为例）

　　1）按照调用次数排序

　　2）按照执行时间排序

（2）使用gprof2dot进行性能分析可视化（以上面截图的第一个为例）

python gprof2dot.py -f pstats result2.out | dot -Tpng -o result2.png

（3）使用pycharm自带profile工具进行性能分析可视化（以上面截图的第一个为例）

四、PSP 表格

（一）结对编程时间开销（单位：分钟） 

五、事后分析与总结

（一）简述结对编程时，针对某个问题的讨论决策过程。 

       我们在讨论如何实现多元词组的统计时，本来高耀同学想要沿用作业4的NLTK提供的函数，但是发现没有现成的方法能够提供调用，所以我们选择钱金同学提出的使用正则表达式，同时使用停词表模块，减少介词、人称代词被统计到。

（二）评价对方：请评价一下你的合作伙伴，又哪些具体的优点和需要改进的地方。 这个部分两人都要提供自己的看法。 

（1）高耀评价钱金：①钱金同学思维活跃、常常想出好的方法。表现在：钱金同学想出使用正则表达式的方法来实现指定长度词组统计。②钱金同学的基础代码能力和基础知识欠缺，需要继续努力。

（2）钱金评价高耀：①高耀同学学习能力强、对于不熟悉的方法上手很快。表现在：对于不熟悉的正则表达式能够快速掌握使用方法。②高耀同学做事认真且有条理、但是严谨性需加强。表现在：编写博客层次清晰有条理，但是对于代码的容错机制欠缺。

（三）评价整个过程：关于结对过程的建议 

       两人结对编程有利于同学间优势互补，能够较为高效的完成任务，很好地提升了自己的编程能力和交流能力。 两人结对编程是最小规模的团队合作，合理的分工，协力完成工作，这也让我们提前熟悉团队合作模式，相比较作业4时候的配合不太熟悉，现在已经轻车熟路。

（四）结对编程照片