python模块介绍-json
#参考资料:《The Python Standard Library by Example》
12.9 json 模块
JSON就是JavaScript Object Notation,这个模块完成了python对象和JSON字符串的互相转换。适用于Python的版本2.6和更高版本。
json模块提供了一个类似pickle的API,转换内存中的Python对象为JavaScript对象符号(JSON)序列。JSON具有有许多语言的实现(尤其是JavaScript)。在AJAX应用中,广泛的使用在Web服务器和客户端之间,
12.9.1 编码解码简单数据类型
JSON编码识别python的如下类型:(string, unicode, int,float, list, tuple, and dict),比如:
import json
data = [ { 'a':'A', 'b':(2, 4), 'c':3.0 } ]
print 'DATA:', repr(data)
data_string = json.dumps(data)
print 'JSON:', data_string
执行结果:
$ python json_simple_types.py
DATA: [{'a': 'A', 'c': 3.0, 'b': (2, 4)}]
JSON: [{"a": "A", "c": 3.0, "b": [2, 4]}]
可以json的表示和python的repr差不多。这里还要注意一点,字典中,把可变对象往后靠,是不是有什么规则?
下例进行编码再解码:
import json
data = [ { ’a’:’A’, ’b’:(2, 4), ’c’:3.0 } ]
print ’DATA :’, data
data_string = json.dumps(data)
print ’ENCODED:’, data_string
decoded = json.loads(data_string)
print ’DECODED:’, decoded
print ’ORIGINAL:’, type(data[0][’b’])
print ’DECODED :’, type(decoded[0][’b’])
执行结果:
$ python json_simple_types_decode.py
DATA : [{’a’: ’A’, ’c’: 3.0, ’b’: (2, 4)}]
ENCODED: [{"a": "A", "c": 3.0, "b": [2, 4]}]
DECODED: [{’a’: ’A’, ’c’: 3.0, ’b’: [2, 4]}]
ORIGINAL: <type ’tuple’>
DECODED : <type ’list’>
这里元组:(2, 4), 编码再解码之后,成了列表
12.9.2 编码解码简单数据类型
JSON跟pickle比的另一个好处是结果的可读性比较好。pickle函数接受多个参数,以使输出甚至更好。下例实现了排序功能:
import json
data = [ { ’a’:’A’, ’b’:(2, 4), ’c’:3.0 } ]
print ’DATA:’, repr(data)
unsorted = json.dumps(data)
print ’JSON:’, json.dumps(data)
print ’SORT:’, json.dumps(data, sort_keys=True)
first = json.dumps(data, sort_keys=True)
second = json.dumps(data, sort_keys=True)
print ’UNSORTED MATCH:’, unsorted == first
print ’SORTED MATCH :’, first == second
执行结果:
$ python json_sort_keys.py
DATA: [{’a’: ’A’, ’c’: 3.0, ’b’: (2, 4)}]
JSON: [{"a": "A", "c": 3.0, "b": [2, 4]}]
SORT: [{"a": "A", "b": [2, 4], "c": 3.0}]
UNSORTED MATCH: False
SORTED MATCH : True
对于多层嵌套的数据结构,还可以使用缩进:
import json
data = [ { ’a’:’A’, ’b’:(2, 4), ’c’:3.0 } ]
print ’DATA:’, repr(data)
print ’NORMAL:’, json.dumps(data, sort_keys=True)
print ’INDENT:’, json.dumps(data, sort_keys=True, indent=2)
执行结果:
$ python json_indent.py
DATA: [{’a’: ’A’, ’c’: 3.0, ’b’: (2, 4)}]
NORMAL: [{"a": "A", "b": [2, 4], "c": 3.0}]
INDENT: [
{
"a": "A",
"b": [
2,
4
],
"c": 3.0
}
]
当缩进不是负数的时候,和pprint的效果差不多。
像这样详细的输出,因此它不适合在产品环境中使用。可以调整分离编码输出数据使它甚至超过了默认的紧凑。
import json
data = [ { ’a’:’A’, ’b’:(2, 4), ’c’:3.0 } ]
print ’DATA:’, repr(data)
print ’repr(data) :’, len(repr(data))
plain_dump = json.dumps(data)
print ’dumps(data) :’, len(plain_dump)
small_indent = json.dumps(data, indent=2)
print ’dumps(data, indent=2) :’, len(small_indent)
with_separators = json.dumps(data, separators=(’,’,’:’))
print ’dumps(data, separators):’, len(with_separators)
执行结果:
$ python json_compact_encoding.py
DATA: [{’a’: ’A’, ’c’: 3.0, ’b’: (2, 4)}]
repr(data) : 35
dumps(data) : 35
dumps(data, indent=2) : 76
dumps(data, separators): 29
12.9.3 编码字典
JSON字典的键值是字符串。试图编码非字符串作为键值会产生一个例外,是TypeError 或者ValueError,取决于加载的模块是纯Python版本加载还是C的加速版本,可以让json忽略这些非字符串的键值。
import json
data = [ { ’a’:’A’, ’b’:(2, 4), ’c’:3.0, (’d’,):’D tuple’ } ]
print ’First attempt’
try:
print json.dumps(data)
except (TypeError, ValueError), err:
print ’ERROR:’, err
print ’Second attempt’
print json.dumps(data, skipkeys=True)
执行结果:
import json
data = [ { ’a’:’A’, ’b’:(2, 4), ’c’:3.0, (’d’,):’D tuple’ } ]
print ’First attempt’
try:
print json.dumps(data)
except (TypeError, ValueError), err:
print ’ERROR:’, err
print ’Second attempt’
print json.dumps(data, skipkeys=True)
12.9.4 自定义类型
到目前为止,所有的例子使用了Python的内置类型,因为这些都是由JSON本身支持的。如果需要编码自定义类,有两种方法。比如有如下对象:
class MyObj(object):
def __init__(self, s):
self.s = s
def __repr__(self):
return ’<MyObj(%s)>’ % self.s
编码MyObj实例的最简单的方法是定义一个函数来转换未知类型为已知类型。它不需要做编码,因此它应该只是转换一个对象到另一个。
import json
import json_myobj
obj = json_myobj.MyObj(’instance value goes here’)
print ’First attempt’
try:
print json.dumps(obj)
except TypeError, err:
print ’ERROR:’, err
def convert_to_builtin_type(obj):
print ’default(’, repr(obj), ’)’
# Convert objects to a dictionary of their representation
d = { ’__class__’:obj.__class__.__name__,
’__module__’:obj.__module__,
}
d.update(obj.__dict__)
return d
print ’With default’
print json.dumps(obj, default=convert_to_builtin_type)
执行结果:
$ python json_dump_default.py
First attempt
ERROR: <MyObj(instance value goes here)> is not JSON serializable
With default
default( <MyObj(instance value goes here)> )
{"s": "instance value goes here", "__module__": "json_myobj",
"__class__": "MyObj"}
要解码的结果并创建一个MyObj中()实例,使用object_hook参数到loads()绑上给解码器,这样的类可以从模块导入并用来创建实例。
每个从输入数据流中解码的字典调用object_hook,把字典转换为其他数据类型。Hook函数程序应该接收的对象而不是字典。
import json
def dict_to_object(d):
if '__class__' in d:
class_name = d.pop('__class__')
module_name = d.pop('__module__')
module = __import__(module_name)
print 'MODULE:', module.__name__
class_ = getattr(module, class_name)
print 'CLASS:', class_
args = dict( (key.encode('ascii'), value)
for key, value in d.items())
print 'INSTANCE ARGS:', args
inst = class_(**args)
else:
inst = d
return inst
encoded_object = '''
[{"s": "instance value goes here",
"__module__": "json_myobj", "__class__": "MyObj"}]
'''
myobj_instance = json.loads(encoded_object,
object_hook=dict_to_object)
print myobj_instance
运行结果:
$ python json_load_object_hook.py
MODULE: json_myobj
CLASS: <class ’json_myobj.MyObj’>
INSTANCE ARGS: {’s’: ’instance value goes here’}
[<MyObj(instance value goes here)>]
由于JSON字符串值转换为Unicode对象,他们需要重新编码
为ASCII字符串,才可以作为类构造的关键字参数。
12.9.5 编码和解码类
json模块提供了编码和解码类。使用这些类可访问额外的API来定制自己的行为。
JSONEncoder使用了一个可迭代接口编码数据的“chunks”,从而在不需要在内存表示整个数据,更加容易写文件或网络socket。
import json
encoder = json.JSONEncoder()
data = [ { ’a’:’A’, ’b’:(2, 4), ’c’:3.0 } ]
for part in encoder.iterencode(data):
print ’PART:’, part
执行结果:
$ python json_encoder_iterable.py
PART: [
PART: {
PART: "a"
PART: :
PART: "A"
PART: ,
PART: "c"
PART: :
PART: 3.0
PART: ,
PART: "b"
PART: :
PART: [2
PART: , 4
PART: ]
PART: }
PART: ]
encode()方法基本上等同于’ ’.join(encoder.iterencode()),不过事先多了一些错误检查。要编码的任意对象,使用前面类似convert_to_builtin_type的方法重载default()。
import json
import json_myobj
class MyEncoder(json.JSONEncoder):
def default(self, obj):
print 'default(', repr(obj), ')'
# Convert objects to a dictionary of their representation
d = { '__class__':obj.__class__.__name__,
'__module__':obj.__module__,
}
d.update(obj.__dict__)
return d
obj = json_myobj.MyObj('internal data')
print obj
print MyEncoder().encode(obj)
执行结果:
$ python json_encoder_default.py
<MyObj(internal data)>
default( <MyObj(internal data)> )
{"s": "internal data", "__module__": "json_myobj", "__class__":
"MyObj"}
解码文本,然后转换对象到字典,比之前的实现要稍微多一点步骤
import json
class MyDecoder(json.JSONDecoder):
def __init__(self):
json.JSONDecoder.__init__(self,
object_hook=self.dict_to_object)
def dict_to_object(self, d):
if ’__class__’ in d:
class_name = d.pop(’__class__’)
module_name = d.pop(’__module__’)
module = __import__(module_name)
print ’MODULE:’, module.__name__
class_ = getattr(module, class_name)
print ’CLASS:’, class_
args = dict( (key.encode(’ascii’), value)
for key, value in d.items())
print ’INSTANCE ARGS:’, args
inst = class_(**args)
else:
inst = d
return inst
encoded_object = ’’’
[{"s": "instance value goes here",
"__module__": "json_myobj", "__class__": "MyObj"}]
’’’
myobj_instance = MyDecoder().decode(encoded_object)
print myobj_instance。
执行结果:
$ python json_decoder_object_hook.py
MODULE: json_myobj
CLASS: <class ’json_myobj.MyObj’>
INSTANCE ARGS: {’s’: ’instance value goes here’}
[<MyObj(instance value goes here)>]
12.9.6 流和文件
函数load() 和dump()用于读写文件类似的对象。
import json
from StringIO import StringIO
data = [ { ’a’:’A’, ’b’:(2, 4), ’c’:3.0 } ]
f = StringIO()
json.dump(data, f)
print f.getvalue()
执行结果:
$ python json_dump_file.py
[{"a": "A", "c": 3.0, "b": [2, 4]}]
虽然不优化为一次只读取的部分数据,load()提供了从流输入生成对象逻辑。
import json
from StringIO import StringIO
f = StringIO(’[{"a": "A", "c": 3.0, "b": [2, 4]}]’)
print json.load(f)
执行结果:
$ python json_load_file.py
[{’a’: ’A’, ’c’: 3.0, ’b’: [2, 4]}]
12.9.7 混合数据流
JSONDecoder包括raw_decode(),这个方法可以解码包含更多数据的数据结构
,比如带后续文本的JSON数据。返回值是解码后的输入数据和索引。
(obj, end, remaining)
encoded_object = ’[{"a": "A", "c": 3.0, "b": [2, 4]}]’
extra_text = ’This text is not JSON.’
print ’JSON first:’
data = ’ ’.join([encoded_object, extra_text])
obj, end, remaining = get_decoded_and_remainder(data)
print ’Object :’, obj
print ’End of parsed input :’, end
print ’Remaining text :’, repr(remaining)
print ’JSON embedded:’
try:
data = ’ ’.join([extra_text, encoded_object, extra_text])
obj, end, remaining = get_decoded_and_remainder(data)
except ValueError, err:
print ’ERROR:’, err
执行结果:
$ python json_mixed_data.py
JSON first:
Object : [{’a’: ’A’, ’c’: 3.0, ’b’: [2, 4]}]
End of parsed input : 35
Remaining text : ’ This text is not JSON.’
JSON embedded:
ERROR: No JSON object could be decoded
注意,对象必须在输入的开始
其他参考资料:
json (http://docs.python.org/library/json.html)
JavaScript Object Notation (http://json.org/)
simplejson (http://code.google.com/p/simplejson/)
simplejson (http://code.google.com/p/simplejson/)