2018年6月4日
使用python处理百万条数据分享(适用于java新手)
摘要： 1、前言 因为负责基础服务,经常需要处理一些数据,但是大多时候采用awk以及java程序即可,但是这次突然有百万级数据需要处理,通过awk无法进行匹配,然后我又采用java来处理,文件一分为8同时开启8个线程并发处理,但是依然处理很慢,处理时长起码在1天+所以无法忍受这样的处理速度就采用python 阅读全文
posted @ 2018-06-04 21:18 朝向远方 阅读(3558) 评论(13) 推荐(2) 编辑