软工作业 5：词频统计——增强功能

一、基本信息

      1.1 编译环境、项目名称、作者　　

1 #编译环境:python3.6
2 #项目名称：软工作业5-词频统计—增强功能
3 #作者：1613072055 潘博
4 #     1613072056 侯磊

　  1.2项目地址

• 本次作业地址:  https://www.cnblogs.com/panboo/
• 项目git地址:  https://gitee.com/ntucs/PairProg/tree/SE055_056

二、项目分析

•  程序运行模块（方法、函数）介绍    

  Task 1. 接口封装 —— 将基本功能封装成（类或独立模块）　　

　　　　将基本功能:统计文本总词数，统计文本最多的十个单词及其词频这两个方法封装在类Core中，使用面向对象的思想将两个基本功能解耦合，

使之成为通用的方法。

# encoding = utf-8
import re

class Core:
    def process_file(dst):  # 读文件到缓冲区
        try:  # 打开文件
            file1 = open(dst, "r")
        except IOError as s:
            print(s)
            return None
        try:  # 读文件到缓冲区
            bvffer = file1.read()
        except:
            print("Read File Error!")
            return None
        file1.close()
        return bvffer

    def word_count(self, bvffer):
        #bvffer = self.process_file(dst) # 调用方法读数据到缓存区
        try:
            count = 0
            # 统计行数
            for i in bvffer:  # 统计文件内容中换行符的数目
                if i == '\n':
                    count += 1
            return count
        except:
            print("Read File Error!")

    def word_freq_t10(self, bvffer):
        #bvffer = self.process_file(dst)  # 调用方法读数据到缓存区
        stop = open("stopwords.txt", 'r', encoding='UTF-8')  # 停词表的读取
        stop_file = stop.read()
        stop_words = stop_file.replace('\n', " ").lower().split()
        for i in bvffer: # 去除特殊字符
            if i in '!"#$%&()*+-,-./:;<=>?@“”[\\]^_{|}~':
                bvffer = bvffer.replace(i, " ")  # 替换特殊字符
        words = bvffer.lower().split()
        if words:
            Newwords = []
            words_select = '[a-z]{4}(\w)*'  # 用正则表达式筛选合格单词
            for i in range(len(words)):
                word = re.match(words_select, words[i])
                if word:
                    Newwords.append(word.group())
        # 统计单词的词频
        word_freq = {} # 定义字典而非数组
        for word in Newwords:
            word_freq[word] = word_freq.get(word, 0) + 1
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True) # 对合格单词词频排序
        return sorted_word_freq[:10] # 返回排序数组的前十个元素

　　　　

　　　　编写一个test5.py,通过import WordCount5模块，可以在cmd命令行中测试上述的封装类，也可以直接在Pycharm开发环境中测试。

from SE_fifthwork_task1 import WordCount5
import argparse
if __name__ == '__main__':
    parser = argparse.ArgumentParser(description="your script description")  # description参数可以用于插入描述脚本用途的信息，可以为空
    parser.add_argument('--f', '-f', type=str, default='Gone_with_the_wind.txt', help="读取文件路径")
    args = parser.parse_args()  # 将变量以标签-值的字典形式存入args字典
    dst = args.f
    print(dst)
    core = WordCount5.Core()
    bvffer = WordCount5.Core.process_file(dst)

    # 任务一 第一个要求测试
    count = WordCount5.Core.word_count(core, bvffer)
    print(count)

    # 任务一： 第二个要求测试
    # sorted_word_freq = WordCount5.Core.word_freq_t10(core, bvffer)
    # for item in sorted_word_freq:  # 输出 Top 10 的单词
    #     print("<%s>:%d " % (item[0], item[1]))

　　　　对任务1的两个基本方法测试所得结果截图如下：

　　　　　　 

　　Task 2. 增加新功能

• 词组统计：能统计文件夹中指定长度的词组的词频
• 自定义输出：能输出用户指定的前n多的单词与其数量

　　　　封装类Core的代码：

# encoding = utf-8
import re


class Core:
    def __init__(self, dst, m, n, o):  # dst:文件路径；m:词组长度;n:输出的单词数量
        self.dst = dst
        self.m = m
        self.n = n
        self.o = o

    def process_file(self):  # 读取文件
        try:  # 打开文件
            file1 = open(self.dst, "r", encoding='GBK')
        except IOError as s:
            print(s)
            return None
        try:  # 读文件到缓冲区
            bvffer = file1.read()
        except:
            print("Read File Error!")
            return None
        file1.close()
        return bvffer

    def process_buffer(self, bvffer):
        if bvffer:
            chara_num = 0
            blank = ''
            for chara in bvffer:  # 统计字母的数目
                if chara.isalpha():
                    chara_num += 1
            count = 0
            for i in bvffer:  # 统计文件内容中换行符的数目
                if i == '\n':
                    count += 1
            if i[-1] != '\n':  # 当文件最后一个字符不为换行符时，行数+1
                count += 1
            for ch in ':,.-_':
                bvffer = bvffer.lower().replace(ch, " ")
            fwords = bvffer.strip().split()

            for i in range(self.m):
                blank += '[a-z]+'
                if i < self.m - 1:
                    blank += '\s'
            last = re.findall(blank, bvffer)  # 正则查找词组
            word_freq = {}
            for word in last:  # 将正则匹配的结果进行统计
                word_freq[word] = word_freq.get(word, 0) + 1
            return word_freq, chara_num, len(fwords), count

    def output_result(self, word_freq):
        if word_freq:
            sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
            for item in sorted_word_freq[:self.n]:  # 输出 Top n 的单词
                print("<%s>:%d " % (item[0], item[1]))
        return sorted_word_freq[:self.n]

    def print_result(self):
        print('读入的文件路径为：' + str(self.dst))
        print('统计词组长度为：' + str(self.m))
        print('输出的单词数量为：' + str(self.n))
        print('文件的存储路径为：' + str(self.o))
        buffer = Core.process_file(self)
        word_freq, characters, count_words, count = Core.process_buffer(self, buffer)
        print("characters:%d " % characters)
        print("lines:%d " % count)
        print("words:%d " % count_words)
        items = Core.output_result(self, word_freq)
        f = open(self.o, 'w+')
        print("characters:%d " % characters, file=f)
        print("lines:%d " % count, file=f)
        print("words:%d " % count_words, file=f)
        for item in items:  # 格式化
            item = '<' + str(item[0]) + '>:' + str(item[1]) + '\n'
            f.write(item)
        f.close()


if __name__ == '__main__':
    test = Core('Gone_with_the_wind.txt', 3, 5, 'main.txt')
    test.print_result()

　　　　

　　　　import argparse模块进行命令行传参测试代码：

# encoding = utf-8
import WordCount5
import argparse


if __name__ == '__main__':
    parser = argparse.ArgumentParser(description="your script description")  # description参数可以用于插入描述脚本用途的信息，可以为空
    parser.add_argument('--i', '-i', type=str, default='Gone_with_the_wind.txt', help="读取的文件路径")
    parser.add_argument('--m', '-m', type=int, default=2, help="词组包含单词数量")
    parser.add_argument('--n', '-n', type=int, default=5, help="输出的词组数量")
    parser.add_argument('--o', '-o', type=str, default='result.txt', help="存储文件路径")
    args = parser.parse_args()  # 将变量以标签-值的字典形式存入args字典
    dst = args.i
    m = args.m
    n = args.n
    o = args.o
    test5 = WordCount5.Core(dst, m, n, o)
    test5.print_result()

　　　　

　　　　运行成果图：

　　　　①使用 -i 传递参数“读取的文件路径”

 

 　　　　①使用 -m 传递参数“词组包含单词数量”

 

　　　　②使用 -n  传递参数  “输出的词组数量”

　　　　③使用 -0 传递参数  “存储文件路径”

　　　  ④-0 -i -m -n 一起使用

 

 

三、性能分析

　　本次实验在作业4基础上进行，在时间、空间复杂度方面差不多，所以运行很流畅。

　　1.根据执行时间分析

 

　　2、性能图表：

 

四、PSP 表格

 

 

五、事后分析与总结

　　1 在封装Core模块时——讨论过程

　　在解决封装方式时，我们两位同学在解决方法方面出现了分歧。

　　55号潘博考虑在设计和实现一个客观系统时，在满足需求的条件下，把系统设计成一些不可变的（相对固定）部分组成的最小集合（最好的设计）。

这些不可变的部分就是所谓的对象。也就是使用面向对象的思想将原来我们写的作业4的项目进行分解成可复用的类方法，从而达到易维护和易扩展的

特点。

　　56号侯磊同学认为使用面向过程，将所有业务逻辑写在一起，可以减少代码量并且容易实现，相对来说性能比面向对象高，因为类调用时需要实例化，开销比较大，比较消耗资源;比如单片机、嵌入式开发、Linux/Unix等一般采用面向过程开发，性能是最重要的因素。

　　最后，我们综合考虑是作业要求和开发模式优缺点，决定使用潘博同学的方法。

　　2 互相评价

　　潘博评价侯磊：侯磊同学虽然在编程方面基础不是很好，但是在合作的过程中积极为项目做贡献，在查阅资料与学习

方面不遗余力。美中不足的是对编写程序背后的逻辑方面，不够严谨，希望以后能够多加思考。

　　侯磊评价潘博：潘博同学不管在编程能力还是在技术储备方面都非常优秀，能够灵活运用已经学习的各门专业知识，

并且在代码编写与调试方面也非常熟练。在完成任务的同时，积极帮助我解答疑问，受益匪浅，期待下一次的合作。

　　3 评价整个过程

　　我们觉得，从本次作业完成的过程中，理解了软件工程不仅仅是一门关于程序编写与设计的学科，他还是一门包含“人”

的学科，甚至团队合作是软件开发中的至关重要的一环。

　　4.结对编程照片

 

 

　　5.其他

　　　　经过这两次的合作编程，我们双方的编程能力都有提高。在合作的过程中，我们互相学习、帮助，一起解决问题，这两次的合作对我们非常有意义。