python 读取json大文件
奇葩json文件:{}{}{}{}{}
一行,919m
#!/usr/bin/env python3.8 # _*_ coding: utf-8 _*_ # Description: # Author: gaozengzeng <gaozengzeng@sglcapital.com.cn> # Date: 2021/11/18 def each_chunk(stream, separator): buffer = '' while True: # until EOF chunk = stream.read(4096) # I propose 4096 or so if not chunk: # EOF? yield buffer break buffer += chunk while True: # until no separator is found try: part, buffer = buffer.split(separator, 1) except ValueError: break else: yield part+'}' def main(): with open('./SA_SRN_RECORD.json') as myFile: for chunk in each_chunk(myFile, separator='}'): print(chunk) # not holding in memory, but printing chunk by chunk if __name__ == '__main__': main()
感谢gaozengzeng老铁的解决方案。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· DeepSeek 开源周回顾「GitHub 热点速览」
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了