02 2024 档案

Python:处理大数据量文件心得
摘要：Python:处理大数据量文件心得完成大文件按规则拆解。使用python实现将5个多g，总共五千万行数据的csv文件进行按照某个特殊时属性进行拆解。 问题难点：文件过大，服务器内存资源不足，需要分块读入内存并处理。之前想着一次性全部读入，然后再根据分类条件写入对应文件，但是总会出现内存溢出（因为一次性读入之后需要分类排序）或者执行效 阅读全文
posted @ 2024-02-15 10:02 香蕉少侠 阅读(49) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示