python json数据的转换和jsonpath的使用

一、Json模块

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，它是的人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。

JSON和XML的比较可谓不相上下

　　1、json结构：对象和数组

对象：对象在js中表示为{}括起来的内容，数据结构为{key:value,key:value,...}的键值对的结构，在面向对象的语言中，key为对象的属性，value为对应的属性值，所以很容易理解，取值方法为对象.key获取属性值，这个属性值的类型可以是数字、字符串、数组、对象这几种。
数组：数组在js中是中括号[]括起来的内容，数据结构为["Python", "javascript", "C++",..]，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是数字、字符串、数组、对象几种。

　　2、json数据的转换

**不能使用dict将json字符串转换为字典
**不能使用eval将json字符串转换为字典，json中的null在python中无法识别，会当成变量处理
loads():将json字符串转换为python类型的，或自动将null转换为None
dumps():将python类型的数据转换为json字符串，会自动将None转换为null

data = {"name": "ming", "id": 18, "msg": None}
json_data = '{"name":"Tom","id":19,"msg":null}'

json.loads()将json字符串转换为python类型的，或自动将null转换为None

resp = json.loads(json_data)
print(type(resp), resp)

#(<type 'dict'>, {u'msg': None, u'name': u'json', u'id': 19})

json.load() 读取文件中json形式的字符串元素转化成python类型

strList = json.load(open("listStr.json"))
print(type(strList), strList)
#(<type 'list'>, [{u'city': u'\u5317\u4eac'}, {u'name': u'python_list'}])

strDict = json.load(open("dictStr.json"))
print(type(strDict), strDict)
#(<type 'dict'>, {u'city': u'\u5317\u4eac', u'name': u'python_dict'})

json.dumps() 将python类型的数据转换为json字符串，会自动将None转换为null

req = json.dumps(data)
print(type(req),req)
# (<type 'str'>, '{"msg": null, "name": "python", "id": 18}')

json.dump() 将Python内置类型序列化为json对象后写入文件

listStr = [{"city": "北京"}, {"name":"python_list"}]

json.dump(listStr, open("listStr.json", "w"), ensure_ascii=False)

dictStr = {"city": "北京", "name":"python_dict"}
json.dump(dictStr, open("dictStr.json", "w"), ensure_ascii=False)

二，jsonpath

JSONPath表达式始终以与XPath表达式与XML文档结合使用的相同方式引用JSON结构。由于JSON结构通常是匿名的，并且不一定具有“根成员对象”，因此JSONPath假定$分配给外部对象的抽象名称。[摘自官方文档]
JSONPath表达式可以使用点号-表示法：$.store.book[0].title
括号符号：$['store']['book'][0]['title']
JSONPath允许通配符 *表示成员名称和数组索引

JsonPath与XPath语法对比：

案例：

import jsonpath

# 数据源：
json_data = { "store": {
            "book": [
              { "category": "reference",
                "author": "李白",
                "title": "Sayings of the Century",
                "price": 8.95
              },
              { "category": "fiction",
                "author": "杜甫",
                "title": "Sword of Honour",
                "price": 12.99
              },
              { "category": "fiction",
                "author": "白居易",
                "title": "Moby Dick",
                "isbn": "0-553-21311-3",
                "price": 8.99
              },
              { "category": "fiction",
                "author": "苏轼",
                "title": "The Lord of the Rings",
                "isbn": "0-395-19395-8",
                "price": 22.99
              }
            ],
            "bicycle": {
              "color": "red",
              "price": 19.95
            }
      }
    }


# 普通取值需要先看json数据，找到uname节点，如果没有就会报错
data1 = json_data["store"]["bicycle"]['color']
print(data1) #"red"

# jsonpath取值不需要看json数据，直接通过..（..就表示全局检索后面跟的属性）全局搜索uname属性，如果没有返回FALSE
data2 = jsonpath.jsonpath(json_data, "$..color")
print(data2)  #["red"]
data3 = jsonpath.jsonpath(json_data, "$.store.bicycle.color")
print(data3)  #["red"]
datas = jsonpath.jsonpath(json_data, "$..author")
print(datas) #['李白', '杜甫', '白居易', '苏轼']

注意事项：

json.loads()是把Json格式字符串解码转换成Python对象，如果在json.loads的时候出错，要注意被解码的Json字符的编码。

如果传入的字符串的编码不是UTF-8的话，需要制定字符编码的参数:encoding

dataDict = json.loads(jsonStrGBK);

dataJsonStr是JSON字符串，假设其编码本身是非UTF-8的话而是GBK的，那么上述代码会导致出错，改为对应的。

dataDict = json.loads(jsonStrGBK, encoding="GBK")

如果dataJsonStr通过encoding指定了合适的编码，但是其中又包含了其它编码的字符，则需要先去将dataJsonStr转换为Unicode,然后再指定编码格式调用json.loads()

dataJsonStrUni = data.JsonStr.decode("GB2312")
dataDict = json.loads(dataJsontrUni, encoding="GB2312")

字符串编码转换

这是程序员最苦逼的地方，什么乱码之类的几乎都是由汉字引起的。
其实编码问题很好搞定，只要记住一点：任何平台的任何编码，都能和Unicode互相转换。

UTF-8与GBK互相转换，那就先把UTF-8转换成Unicode，再从Unicode转换成GBK，反之同理。

# 这是一个 UTF-8 编码的字符串
utf8Str = "你好地球"

# 1. 将 UTF-8 编码的字符串 转换成 Unicode 编码
unicodeStr = utf8Str.decode("UTF-8")

# 2. 再将 Unicode 编码格式字符串 转换成 GBK 编码
gbkData = unicodeStr.encode("GBK")

# 1. 再将 GBK 编码格式字符串 转化成 Unicode
unicodeStr = gbkData.decode("gbk")

# 2. 再将 Unicode 编码格式字符串转换成 UTF-8
utf8Str = unicodeStr.encode("UTF-8")