作业 5：词频统计——增强功能

一、基本信息

      1.1、编译环境、作者、项目名称

 # 编译环境：Pycharm2017、Python3.7
 # 项目名称：词频统计——增强功能
 # 作者：1613072038：夏文杰
 #      1613072040：高昶

　1.2、其他

• 本次作业的地址：https://edu.cnblogs.com/campus/ntu/Embedded_Application/homework/2088

二、项目分析

• 程序运行模块（方法、函数）介绍

Task 1. 接口封装 —— 将基本功能封装成（类或独立模块）

　　本任务代码和作业4一样，只是将分散的函数整合到一个类中，然后我们再在测试中调用我们写好的类。这里我们的文件名为:lei.py

import re

class workCount:

    def process_file(dst):  # 读取文件
        lines = len(open(dst, 'r').readlines())  # 借助readlines可以获得文本的行数
        with open(dst) as f:
            bvffer = f.read()
        f.close()
        return bvffer

    def process_buffer(bvffer):
        if bvffer:
            for ch in ':,.-_':
                bvffer = bvffer.lower().replace(ch, " ")
            bvffer = bvffer.strip().split()
            word_re = "^[a-z]{4}(\w)*"
            # 正则匹配至少以4个英文字母开头，跟上字母数字符号，单词以分隔符分割，不区分大小写
            words = []
            for i in range(len(bvffer)):
                word = re.match(word_re, bvffer[i])  # 匹配list中的元素
                if word:  # 匹配成功，加入words
                    words.append(word.group())
            word_freq = {}
            for word in words:  # 对words进行统计
                word_freq[word] = word_freq.get(word, 0) + 1
        return word_freq, len(words)

    def output_result(word_freq):
        if word_freq:
            sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
            for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
                print('<' + str(item[0]) + '>:' + str(item[1]))
        return sorted_word_freq[:10]

    def print_result(dst):
        buffer = workCount.process_file(dst)
        word_freq, counts_words = workCount.process_buffer(buffer)
        print('统计单词数:' + str(counts_words))
        print('统计最多的10个单词及其词频')
        workCount.output_result(word_freq)

　　接下来我们测试中调用我们写好的类。import我们写好的:lei.py

import lei
import argparse
if __name__ == '__main__':
    parser = argparse.ArgumentParser(description="your script description")  # description参数可以用于插入描述脚本用途的信息，可以为空
    parser.add_argument('--file', '-file', type=str, default='src/test.txt', help="读取文件路径")
    args = parser.parse_args()  # 将变量以标签-值的字典形式存入args字典
    dst = args.file
    lei.workCount.print_result(dst) #此处为类的调用

　　然后我们直接来看一下效果：如图2.1、2.2

　　先看一下src/test.txt里面写的啥：

　　

　　接着看一下测试函数的效果：

　　2.1 测试函数在IDE中运行截图

  　　

　　2.2 测试函数在CMD中运行截图　　　　　　　　　

                                 　　　　      　　　　　　　　　　　　　　　　　 

Task 2. 增加新功能

　　本任务就是在任务一的基础上增加了新的功能，我们增加参数的数量，便可以实现。

　　看一下workCount类里面的代码。

import re

class workCount:
    def __init__(self, dst, m, n, o):  # dst:打开文件路径；m:词组长度;n:输出的单词数量；o表示输出文件的存储路径
        self.dst = dst
        self.m = m
        self.n = n
        self.o = o

    def process_file(self):  # 读取文件
        lines = len(open(self.dst, 'r+').readlines())  # 借助readlines可以获得文本的行数
        with open(self.dst) as f:
            bvffer = f.read()
        f.close()
        return bvffer, lines

    def process_buffer(self, bvffer):
        if bvffer:
            for ch in ':,.-_':
                bvffer = bvffer.lower().replace(ch, " ")
            counts = bvffer.strip().split()
            regex = ''
            for i in range(self.m):
                regex += '[a-z]+'
                if i < self.m - 1:
                    regex += '\s'
            result = re.findall(regex, bvffer)  # 正则查找词组
            word_freq = {}
            for word in result:  # 将正则匹配的结果进行统计
                word_freq[word] = word_freq.get(word, 0) + 1
            return word_freq, len(counts)

    def output_result(self, word_freq):
        if word_freq:
            sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
            for item in sorted_word_freq[:self.n]:  # 输出 Top 10 的单词
                print('<' + str(item[0]) + '>:' + str(item[1]))
        return sorted_word_freq[:self.n]

    def print_result(self): # 输出结果
        print('查询路径为：' + str(self.dst) + '的文本')
        print('统计词组长度为：' + str(self.m) + '且词频前' + str(self.n) + '的单词')
        buffer, lines = workCount.process_file(self)
        word_freq, counts_words = workCount.process_buffer(self, buffer)
        lines = 'lines:' + str(lines)
        words = 'words:' + str(counts_words)
        print(words)
        print(lines)
        items = workCount.output_result(self, word_freq)
        with open(self.o, 'w+') as w:
            w.write(lines+'\n')
            w.write(words+'\n')
            for item in items:  # 格式化
                item = '<' + str(item[0]) + '>:' + str(item[1]) + '\n'
                w.write(item)
        print('写入'+self.o+'文件已完成！')
        w.close()

　　接下来我们看一下测试的代码。

import lei
import argparse

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description="your script description")  # description参数可以用于插入描述脚本用途的信息，可以为空
    parser.add_argument('--i', '-i', type=str, default='src/test.txt', help="读取文件路径")
    parser.add_argument('--m', '-m', type=int, default=2, help="输出的单词数量")
    parser.add_argument('--n', '-n', type=int, default=5, help="输出的单词个数")
    parser.add_argument('--o', '-o', type=str, default='src/result.txt', help="写入文件路径")
    args = parser.parse_args()  # 将变量以标签-值的字典形式存入args字典
    dst = args.i
    m = args.m
    n = args.n
    o = args.o
    obj = lei.workCount(dst, m, n, o) # 将参数传给类
    obj.print_result()　　　　　　　　　# 调用类里面的自定义的输出函数，将数据呈现出来

　　来看一下成果图吧！（就不一项项功能截图了，直接附上成果图           

三、性能分析

　　因为本次代码基本都是用的作业四的，而且作业四代码性能都是之前调整到‘’我们觉得最佳‘’的，所以本次就没进行性能优化。因为文本的内容也很少所以程序运行还是很快的。

　　

　　性能图表如下：

 

四、PSP 表格

仅根据实际估算，不一定很准确。

五、事后分析与总结 

• 简述结对编程时，针对某个问题的讨论决策过程。

      就cmd运行py脚本传参的问题，我们通过查询，找到了二种方法，1、sys.argv；2、 argparse模块。通过比较我们发现argparse模块对于传多个参数而且argparse模块还包含位置参数，这样让处理命令行参数很快捷和方便。

• 评价对方：请评价一下你的合作伙伴，又哪些具体的优点和需要改进的地方。 这个部分两人都要提供自己的看法。

      高昶评价夏文杰：夏文杰本次相较于上次对python有了跟多的了解，就封装和传参提供了很不错的点子，所以我们这次作业花费的时间也比上次少了很多。需要改进的地方：还是和上次一样，多阅读、了解计算机相关的知识。

      夏文杰评价高昶：高昶可以很快的将想法变成代码。需要改进的地方：基础需要巩固加强，且能够多变通。

• 评价整个过程：关于结对过程的建议

      结对编程是一个相互学习、相互磨合的渐进过程，因为二人平时关系就很不错，二人都很认真的完成本次任务，所以本次的结对编程是很愉快的。通过本次结对编程我们也充分的认识到了合作的重要性，一个人编程不免要犯这样那样的错误，结对编程就很好的避免了这样的问题，而且二人会碰撞出更多的想法和灵感，二人相互学习，相互补充。而且结对编程能提供更好的设计质量和代码质量，两人合作能有更强的解决问题的能力。还有就是，结对编程让有些许枯燥的编程，变得有趣。

      建议：结对编程是一件很不错的事情，但是结对编程的过程中难免发生争执，所以妥善处理好争议才能更好的将结对编程做好。

• 其它 

       经过2次的结对练习，我们的编程能力都有了些许提升，而且更加懂得了什么是合作！