python 读取json大文件

奇葩json文件:{}{}{}{}{}

一行,919m

复制代码
#!/usr/bin/env python3.8
# _*_ coding: utf-8 _*_
# Description:
# Author: gaozengzeng <gaozengzeng@sglcapital.com.cn>
# Date: 2021/11/18

def each_chunk(stream, separator):
    buffer = ''
    while True:  # until EOF
        chunk = stream.read(4096)  # I propose 4096 or so
        if not chunk:  # EOF?
            yield buffer
            break
        buffer += chunk
        while True:  # until no separator is found
            try:
                part, buffer = buffer.split(separator, 1)

            except ValueError:
                break
            else:
                yield part+'}'

def main():
    with open('./SA_SRN_RECORD.json') as myFile:
        for chunk in each_chunk(myFile, separator='}'):
            print(chunk)  # not holding in memory, but printing chunk by chunk

if __name__ == '__main__':
    main()
复制代码

感谢gaozengzeng老铁的解决方案。

posted @   乔小生1221  阅读(450)  评论(0编辑  收藏  举报
编辑推荐:
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· DeepSeek 开源周回顾「GitHub 热点速览」
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
点击右上角即可分享
微信分享提示