软件工程慕课第二章编程题—对英文文献的检索

课程地址：https://next.xuetangx.com/learn/THU08091000367/THU08091000367/1516221/exercise/1385903

一、编程思路

　　1、将待分析文件和查询文件从本地导入

　　2、利用正则表达式对文档进行分句并用list进行保存

　　3、对分好的句子进行单词匹配，匹配到以后返回句子所在位置并对句子进行分词

　　4、对分好的词进行匹配，查找到单词所在位置

二、代码实现

　　1、首先写出了代码的框架和添加了必要的注释

前两个方法实现思路1、2，第三个方法实现思路3、4，上图是最开始的思路写出的框架，以前我没有写框架的习惯，这次看完课程自己实践后发现写框架可以将自己的思路模块化并记录在代码中，实现每一个模块就更加精准打击，不用整体考虑，只需要专心实现一个模块

下面贴出基于自己写的框架编写完的程序

import sys
import re
from memory_profiler import profile
class txtHandle:
    def __init__(self,contents_path,query_path):
        '''
        导入待分析文件
        '''
        with open(contents_path,encoding="utf-8") as f:
            self.content = f.read()
            self.content = (self.content).lower()
            self.content = (self.content).replace('\n',' ')
            self.content = re.split(r'[.!?]',self.content)    
            del self.content[-1]        #删除最后一个元素，最后一句是句子删除的就是空元素，不是句子删除的就是不完整的句子
            self.content = [ i for i in self.content if i != '']
            self.queryFile(query_path)

    def queryFile(self,path):
        '''
        导入查询文件，把里面的单词弄成一个列表1
        '''
        with open(path,encoding="utf-8") as f:
            self.query = (f.read()).lower()
            self.query = (self.query).split('\n')
            self.query = [ i for i in self.query if i != '']
                    
    def fileAnalysis(self):
        '''
        对两个文档进行处理，调用findSubscript进行单词在句子、句子在列表中的位置定位
        '''
        list=[]
        for word in self.query:
            for sentences in self.content: 
                if sentences.find(word) != -1:
                    setences_position = (self.content).index(sentences)
                    sentences = re.split(r'[ +\'\’\,]',sentences)
                    sentences = [i for i in sentences if i!='']   #删除列表空元素
                    word_position = [i for i,x in enumerate(sentences) if x == word]
                    if word_position == None:                  
                        pass
                    else:    
                        for z in word_position:
                            list.append(str(setences_position+1)+'/'+str(z+1))
                    
            if list == []:
                print('None')
            else:
                print(','.join(list))
                list=[]
        
@profile          
def main():
    '''
    sys.argv[1]为待分析文件
    sys.argv[2]为查询文件
    '''
    txt = txtHandle(sys.argv[1],sys.argv[2])
    txt.fileAnalysis()
    
if __name__ == '__main__':
    
    main()

这次实践也是一波三折，起初再编写fileAnalysis这个方法的时候，思路不够清晰，导致代码量庞大，而且可读性很差，而且忘记记录了，我将其中查找句子在文档中的位置和单词在句子中的位置抽象成了一个新的方法

def findSubscript(self,list,element):

        '''

        查找单词在列表中的下标

        返回单词句子的位置

        '''

        for i in range(0,len(list)):



            if list[i] == element:



                return i+1

这样程序立马变得简洁，而且可读性较强，但是后来发现，相同的单词可能出多次重复出现在一个句子中，故将这个方法删除，查句子改成：

setences_position = (self.content).index(sentences)

查单词改成：

word_position = [i for i,x in enumerate(sentences) if x == word]

self.content和sentences已经处理为列表，这样就更加精炼了整个代码

下面是我采用的分析文档和查询文档进行功能测试：

分析文档eng2.txt和查询文档query.txt已经上传githubhttps://github.com/dbefb/nickYang

命令行调用：

能完成要求的功能

三、性能测试

　　代码中@profile是进行内存测试的工具，要求的性能测试有一个问题就是1M，5M，30M的英文文档太大了不好弄，我用了很长一段英文文章进行复制沾粘后，勉强达到1M和5M大小，编写了一个脚本进行查询文件的生成，能从分析文档中随机选需要数目的单词按要求写成一个txt：

import re
import random

def __init__(path):
        
        with open (path) as f:
            query = f.read()
            
            query = re.split(r'[ .!?="±,°;\n\[\]\(\)]',query)
            query = [ i for i in query if i!= '']
            with open ('D:\桌面\query.txt','w') as tf:
                for i in range(1,100):
                    tf.write(query[random.randint(0,10000)])
                    tf.write('\n')
__init__('D:\桌面\eng1.txt')

 

最后跑代码的时候发现一个问题就是分析文档中太多重复的一模一样的句子，导致代码查句子在文章中的位置一直保持不变，在此问题下的性能测试如下：

1、当文档大小为1.05M，随机选100个单词生成查询文档进行测试：

内存占用1.8M，大约16s跑完

2、当文档大小为5.13M，随机选1000个单词生成查询文档进行测试：

时间上用了13min37s才跑完，严重超出了题目要求的5min，不清楚是否是上述发现的问题导致的，对于30M，2000个单词就没有测试了。

性能方面没有达到要求，目前还不知道如何改进，只能边学边做。

四、PEP8规范性检查

使用pylint工具进行代码规范性检查：

 

 根据错误提示对代码进行修改：

"""实现对英文文档的分词分句，给出所查单词位置"""
import sys

import re

from memory_profiler import profile

class TxtHandle:
    """txt文档的分析"""
    def __init__(self, contents_path, query_path):
        '''
        导入待分析文件
        '''
        with open(contents_path, encoding="utf-8") as file:
            self.content = file.read()
            self.content = (self.content).lower()
            self.content = (self.content).replace('\n', ' ')
            self.content = re.split(r'[.!?]', self.content)
            del self.content[-1]        #删除最后一个元素，最后一句是句子删除的就是空元素，不是句子删除的就是不完整的句子
            self.content = [i for i in self.content if i != '']
            self.query_file(query_path)

    def query_file(self, path):
        '''
        导入查询文件，把里面的单词弄成一个列表1
        '''
        with open(path, encoding="utf-8") as file:
            self.query = (file.read()).lower()
            self.query = (self.query).split('\n')
            self.query = [i for i in self.query if i != '']

    def file_analysis(self):
        '''
        对两个文档进行处理，调用findSubscript进行单词在句子、句子在列表中的位置定位
        '''
        position_list = []
        for word in self.query:
            for sentences in self.content:
                if sentences.find(word) != -1:
                    setences_position = (self.content).index(sentences)
                    sentences = re.split(r'[ +\'\’\,]', sentences)
                    sentences = [i for i in sentences if i != '']   #删除列表空元素
                    word_position = [i for i, x in enumerate(sentences) if x == word]
                    if word_position is None:
                        pass
                    else:
                        for i in word_position:
                            position_list.append(str(setences_position+1)+'/'+str(i+1))

            if position_list == []:
                print('None')
            else:
                print(','.join(position_list))
                position_list = []

@profile
def main():
    '''
    sys.argv[1]为待分析文件
    sys.argv[2]为查询文件
    '''
    txt = TxtHandle(sys.argv[1], sys.argv[2])
    txt.file_analysis()

if __name__ == '__main__':

    main()

再次测试：

已经修改成符合PEP8规范的代码，代码的可读性更高，更加清晰。