Python | json文件和jsonl文件讲解

众所周知,JSON 文件是使用 JSON(JavaScript Object Notation)格式存储数据的文件。它是一种结构化的文本格式,使用键值对的方式表示数据。JSON 文件通常包含一个根对象,可以包含多个嵌套的对象、数组和基本数据类型。

JSONL 文件(JSON Lines),则是一种每行包含一个独立的 JSON 对象的文本文件格式。每行都是一个有效的 JSON 对象,和json的"list dict"不一样,jsonl的话没有"list",只有一行行的“dict”,使用换行符分隔。相比于 JSON 文件,JSONL 文件更加轻量,每行为独立的 JSON 对象,没有逗号或其他分隔符。这样的好处是方便一行行读取,而不用像json一样只能一次性把"list"里面的"dict”全部都读出来,节省了内存吧,并且还能增加可读性,普通的json文件打开之后会乱糟糟一团。jsonl的话需要pip安装一个jsonlines包。

JSON文件的内容示例:

[{"name": "John", "age": 30},
{"name": "Jane", "age": 25},
{"name": "Bob", "age": 40}]

JSONL文件的内容示例:

{"name": "John", "age": 30}
{"name": "Jane", "age": 25}
{"name": "Bob", "age": 40}

主要区别如下:

JSON 文件

  • 使用大括号 {} 表示对象,使用方括号 [] 表示数组。
  • 整个文件是一个有效的 JSON 对象或数组。
  • 适合存储结构化的数据,如配置文件、API 响应等。
  • 一次性读取整个文件,解析成一个 JSON 对象,可以随机访问其中的数据。

JSONL 文件

  • 每行是一个独立的有效 JSON 对象。
  • 每行之间没有逗号或其他分隔符。
  • 适合存储每行为独立记录的数据,如日志、传感器数据、日志行等。
  • 逐行读取文件,逐行解析 JSON 对象,一次处理一行的数据。
JSONL 文件适合用于以下情况:
  • 当数据以行为单位独立存储,并且每行数据之间没有明确的分隔符时。
  • 当需要逐行处理数据,以节省内存和提高处理速度时。
  • 当数据量非常大,无法一次性加载到内存中时,JSONL 格式提供了一种流式处理数据的方式。

这么对比下来,JSON 文件更适合结构化的数据存储和传输,而 JSONL 文件更适合每行为独立记录的数据存储和处理

posted @ 2023-07-08 17:36  张Zong在修行  阅读(1917)  评论(0编辑  收藏  举报