2016 年 5月 27 日随笔档案 - momingliu11

2016年5月27日

摘要：分别通过多进程、多线程方式处理文件，将结果保存到一个list中： 1.多进程： 2.多线程：结论：多进程和多线程在分别处理每个文件，将结果写入各自tmp list中，多线程耗时2.468s，多线程耗时4.24s，多进程优于多线程（进程数量未控制，默认CPU核心数量）。但当多线程各结果写入到共享变阅读全文

posted @ 2016-05-27 17:49 momingliu11 阅读(948) 评论(0) 推荐(0) 编辑

大文件拆分

摘要： fp='e:\\logtest\u_ex160314.log' #原文件名称 fname='e:\\logtest\u_ex160314' #新文件名称 fsize = 1024*1024 #1MB，定义每个新文件的大小 num = 1 #新文件名后+1 sum = 0 #每个新文件的当前大小 with open(fp,'rb') as fo: for line in fo: ... 阅读全文

posted @ 2016-05-27 15:24 momingliu11 阅读(230) 评论(0) 推荐(0) 编辑