使用python,以字段来分割超大文本
摘要:
本次拿到一个大小为150G+的用户数据文件,要求分割成小文件,以便于快速转换为本地字段。 思路如下: 查看文件实质上是否为文本文件(是) 查看文件结构(xml) 查看文件内容中如何标记一个用户数据的起始与结束(object) 以分割份数为指标,先均分,然后seek到指定位置,向后读取每行,直到匹配到 阅读全文
posted @ 2020-11-07 22:56 狂自私 阅读(559) 评论(0) 推荐(0) 编辑