Json与jsonpath再认识与初识
一.json格式的数据
1.认识
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,
它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于
进行数据交互的场景,比如网站前台与后台之间的数据交互。
2.格式转换
2.1 json.loads()
把Json格式字符串解码转换成Python对象,从json到python的类型转化对照如下:
JSON | Python |
---|---|
object | dict |
array | list |
string | str |
number (int) | int |
number (real) | float |
true | True |
false | False |
null | None |
import json strList = '[1, 2, 3, 4]' strDict = '{"city": "北京", "name": "大猫"}' print(json.loads(strList)) print(json.loads(strDict))
2.2 json.dumps()
python类型转化为json字符串,返回一个str对象把一个Python对象编码转换成Json字符串,
从python原始类型向json类型的转化对照如下
Python | JSON |
---|---|
dict | object |
list, tuple | array |
str | string |
int, float, int- & float-derived Enums | number |
True | true |
False | false |
None | null |
import json listStr = [1, 2, 3, 4] tupleStr = (1, 2, 3, 4) dictStr = {"city": "北京", "name": "大猫"} print(json.dumps(listStr)) print(json.dumps(tupleStr)) # 注意:json.dumps() 序列化时默认使用的ascii编码 # 添加参数 ensure_ascii=False 禁用ascii编码,按utf-8编码 print(json.dumps(dictStr)) print(json.dumps(dictStr, ensure_ascii=False)) ''' 输出结果: [1, 2, 3, 4] [1, 2, 3, 4] {"city": "\u5317\u4eac", "name": "\u5927\u732b"} {"city": "北京", "name": "大猫"} '''
json使用的注意点:
1.json中的字符串都是双引号引起来的
2.如果不是双引号:
1.eval能实现简单的字符串和python数据类型的简单转换
2.replace把单引号替换成双引号
3.往一个文件中写入多个json串,不再是一个json串,不能直接读取
一行写一个json串,按行读取
4.json读写报错
写入到本地,再找,pycharm右下角有光标的位置,点击直接定位到报错的位置
二、JsonPath简介
JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具
1.jsonpath和xpath的对比
Json结构清晰,可读性高,复杂度低,非常容易匹配,下表中对应了XPath的用法
XPath的 | JSONPath | 描述 |
/ | $ | 根对象/元素 |
。 | @ | 当前的对象/元素 |
/ | 。要么 [] | 儿童经营者 |
.. | N / A | 父运营商 |
// | .. | 递归下降。JSONPath借用了E4X的这种语法。 |
* | * | 通配符。所有对象/元素无论其名称如何。 |
@ | N / A | 属性访问。JSON结构没有属性。 |
[] | [] | 下标运算符。XPath使用它来迭代元素集合和谓词。在Javascript和JSON中,它是本机数组运算符。 |
| | [,] | XPath中的Union运算符导致节点集的组合。JSONPath允许使用备用名称或数组索引作为集合。 |
N / A | [开始:结束:步骤] | 从ES4借来的数组切片运算符。 |
[] | ?() | 应用过滤器(脚本)表达式。 |
N / A | () | 脚本表达式,使用底层脚本引擎。 |
() | N / A | 在Xpath中分组 |
2.用法简介
d={ "error_code": 0, "stu_info": [ { "id": 2059, "name": "小白", "sex": "男", "age": 28, "addr": "河南省济源市北海大道32号", "grade": "天蝎座", "phone": "18378309272", "gold": 10896, "info":{ "card":434345432, "bank_name":'中国银行' } }, { "id": 2067, "name": "小黑", "sex": "男", "age": 28, "addr": "河南省济源市北海大道32号", "grade": "天蝎座", "phone": "12345678915", "gold": 100 } ] } res= d["stu_info"][1]['name'] #取某个学生姓名的原始方法:通过查找字典中的key以及list方法中的下标索引 print(res) #输出结果是:小黑 import jsonpath res1=jsonpath.jsonpath(d,'$..name') #嵌套n层也能取到所有学生姓名信息,$表示最外层的{},..表示模糊匹配 print(res1) #输出结果是list:['小白', '小黑'] res2= jsonpath.jsonpath(d,'$..bank_name') print(res2) #输出结果是list:['中国银行'] res3=jsonpath.jsonpath(d,'$..name123') #当传入不存在的key(name)时,返回False print(res3) #输出结果是:False
3.实例
from urllib import request import jsonpath import json url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json' req =request.Request(url) response = request.urlopen(req) html = response.read() # 把json格式字符串转换成python对象 jsonobj = json.loads(html) # 从根节点开始,匹配根节点下面所有的name节点 citylist = jsonpath.jsonpath(jsonobj,'$..name') print(citylist) print(type(citylist)) fp = open('city.json','w') content = json.dumps(citylist, ensure_ascii=False) print(content) fp.write(content.encode("utf-8").decode("utf-8")) fp.close()
三、字符串编码转换
# 1. 因为Python3默认字符串是unicode格式 unicodeStr = "你好地球" print(unicodeStr) # 2. 再将 Unicode 编码格式字符串 转换成 GBK 编码 gbkData = unicodeStr.encode("GBK") print(gbkData) # 1. 再将 GBK 编码格式字符串 转化成 Unicode unicodeStr = gbkData.decode("gbk") print(unicodeStr) # 2. 再将 Unicode 编码格式字符串转换成 UTF-8 utf8Str = unicodeStr.encode("UTF-8") print(utf8Str)
原文:https://blog.csdn.net/Ka_Ka314/article/details/81014589