使用jsonpath快速提取json的数据

jsonpath对于json相当于xpath对于xml，jsonpath提供多种语言实现版本包括python，javascript，php和java等，jsonpath是第三方库，需要安装，cmd中输入pip install jsonpath

安装后输入pip show jsonpath可查看详细信息（官网https://goessner.net/articles/JsonPath/）

Name: jsonpath
Version: 0.82.2
Summary: An XPath for JSON
Home-page: http://www.ultimate.com/phil/python/#jsonpath
Author: Phil Budne
Author-email: phil@ultimate.com
License: MIT
Location: C:\Users\89660\AppData\Local\Programs\Python\Python312\Lib\site-packages
Requires:
Required-by:

jsonpath使用非常简单，jsonpath.jsonpath(expr)是jsonpath库的核心函数，用于执行jsonpath表达式：

纵横中文网推荐榜的数据就是以json文件保存，由上节（22）得知页面数据得请求方法为post。

向使用urllib获取json源代码，再使用jsonpath提取第一页json文件的小说名与作者信息，运行代码如下：

from urllib.request import Request, urlopen
from urllib.parse import urlencode
from fake_useragent import UserAgent
from jsonpath import jsonpath
import json


# 请求地址
url = 'https://www.zongheng.com/api/rank/details'
# 伪装请求头
headers = {'User-Agent': UserAgent().chrome}
# 封装post参数
data = {
    'cateFineId': '0',
    'cateType': '0',
    'pageNum': '1',
    'pageSize': '20',
    'period': '0',
    'rankType': '6'
}
data = urlencode(data).encode()
# 封装Request对象
req = Request(url, data=data, headers=headers)
# 发送请求
resp = urlopen(req)
# 获取响应内容
print(resp.read().decode())
# 把json格式字符串转换为python对象（解码/反序列）
obj = json.loads(resp.read().decode())
# 匹配bookName节点和pseudonym节点
bookName = jsonpath(obj, '$..bookName')
pseudonym = jsonpath(obj, '$..pseudonym')
print(type(bookName), type(pseudonym))
for i, n in zip(bookName, pseudonym):
    print(f'作者: {n}, 书名: {i}')
print(bookName)

运行结果：

<class 'list'> <class 'list'>
作者: 随散飘风, 书名: 踏星
作者: 火星引力, 书名: 逆天邪神
作者: 烽火戏诸侯, 书名: 剑来
作者: 知白, 书名: 天下长宁
作者: 更俗, 书名: 新官路商途
作者: 青鸾峰上, 书名: 无敌天命
作者: 减肥专家, 书名: 星辰之主
作者: 无罪, 书名: 割鹿记
作者: 我爱小豆, 书名: 灰烬领主
作者: 铁马飞桥, 书名: 太荒吞天诀
作者: 鸟川鸣, 书名: 好戏登场
作者: 沙漠, 书名: 绝色生骄
作者: 烈焰滔滔, 书名: 最强战神
作者: 晨星天使, 书名: 问鼎：从一等功臣到权力巅峰
作者: 莫问江湖, 书名: 过河卒
作者: 曳光, 书名: 凡徒
作者: 浪迹天涯觅卿归, 书名: 弑神仙尊
作者: 太极阴阳鱼, 书名: 末日崛起
作者: 烟斗老哥, 书名: 医路青云
作者: 六如和尚, 书名: 陆地键仙