小白闯

导航

python中pandas分块读取数据

从研究僧小白成为了职场小白,继续做着数据分析的事情,以后一定经常更新笔记,加油!!

工作以后遇到的数据量有点大,今天拿到行数超过1kw+的数据,python虽然能很好的读进去,但是很浪费时间,而且在后续清洗中内存会不够。还好pandas包里有分块读取数据的方法,代码如下:

其中还包含了数据分列的函数split

 

      

 

posted on 2019-07-03 18:13  李小白cc  阅读(4001)  评论(0编辑  收藏  举报