2020年12月3日
python对文件进行并行计算初探
摘要： 最近工作中经常会有读取一个文件，对数据做相关处理并写入到另外一个文件的需求 当文件行数较少的时候，单进程顺序读取是没问题的，但是当文件行数过万，就需要消耗很客观的时间。 一、一次性读入，多进程处理 我最初想到的办法是多进程，最初的办法是一次性读取所有行，然后分配给多个进程处理，最终还是写入一个文件。 阅读全文
posted @ 2020-12-03 22:11 Mars.wang 阅读(631) 评论(0) 推荐(0) 编辑