人生苦短，我用Python！

2018-09-27 20:20 潘博阅读(386) 评论(1) 编辑收藏举报

一、程序分析

　　1、读取文件到缓冲区

 1     def process_file():     # 读文件到缓冲区    
 2         try:     # 打开文件    
 3             f = open("C:\\Users\\panbo\\Desktop\\A_Tale_of_Two_Cities.txt", "r")    
 4         except IOError  as e:    
 5             print (e)    
 6             return None    
 7         try:     # 读文件到缓冲区    
 8             bvffer = f.read()    
 9         except:    
10             print ("Read File Error!")    
11             return None    
12         f.close() #关闭文件    
13         return bvffer

　　2、缓冲区字符串分割成带有词频的字典

 1 def process_buffer(bvffer):
 2     if bvffer:
 3         word_freq = {}
 4         # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
 5         #文本字符串前期处理
 6         strl_ist = bvffer.replace(punctuation, '').lower().split(' ')
 7         #如果单词在字典里，则字典值加1，不在则添加该单词到字典里
 8         for str in strl_ist:
 9             if str in word_freq.keys():
10                 word_freq[str] = word_freq[str] + 1
11             else:
12                 word_freq[str] = 1
13         return word_freq

　　3、将字典按词频排序并输出排名前十的键值对

1 def output_result(word_freq):
2     if word_freq:
3         sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
4         for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
5             print (item)

　　4、主程序输出前十结果和分析结果

 1 if __name__ == "__main__":
 2     bvffer = process_file()
 3     word_freq = process_buffer(bvffer)
 4     output_result(word_freq)
 5     import cProfile
 6     import pstats;
 7     p=pstats.Stats('word_freq.out');
 8     #输出调用此处排前十的函数
 9     p.sort_stats('calls').print_stats(10)
10     #输出按照运行时间排名前十的函数
11     p.strip_dirs().sort_stats("cumulative", "name").print_stats(10)
12     #p.print_callers(0.5, "sre_parse.py")
13     #查看每个函数分别调用了哪些函数
14     p.print_callees("process_file")
15     p.print_callees("process_buffer")
16     p.print_callees("output_result")
17     #查看有哪些函数调用了builtins.print
18     p.print_callers(0.5, "builtins.print")
19     p.print_callers(0.5, "builtins.exec")
20     #p.strip_dirs().sort_stats("name").print_stats(3)
21     #p.strip_dirs().sort_stats("cumulative", "name").print_stats(0.5)
22     #p.print_callers(0.5, "built-in")