JSON格式数据的处理

源文件存储格式 {"coi_id":"dhfjhjhfjdhfjdhjs", "city_name":"深圳市", "coi_name":"海岸城", "img":"http://......jpg", "list":[{.......}], "hot":3.5}，源文件JSON形式按行存储。

目标：删除“list”属性及相关值，将相同城市名的的购物中心划在一起，最后存储为 {"city_name":"深圳市", "list":[{"coi_is":"dfgffgf", "coi_name":"海岸城", "img":"http://...jpg", "hot":3.5}, {...}, ...] }形式，并对每个城市下的购物中心的热度hot按值大小排序。

实现：

import json
 2  3 
fileread=open("test.data")
filenew=open("aois.txt",'w+')

city_aois={}
city_put={}

for line in fileread:
    #print line
    json_obj=json.loads(line)
    del json_obj["list"]
    #print json_obj
    if json_obj['city_name'] not in city_aois:
        city_aois[json_obj['city_name']]=[]
        city_aois[json_obj['city_name']].append(json_obj)
    else:
        city_aois[json_obj['city_name']].append(json_obj)


for p in city_aois:
    city_aois[p].sort(key=lambda x: x["hot"],reverse=True)
    #item=json.dumps(city_aois[p],ensure_ascii=False)
    #strs = '{"city_name":"'+p.encode("UTF-8")+'","list":'+item.encode("UTF-8")+'}'
    #print strs
    tmp={}
    tmp['city_name']=p
    tmp['list']=city_aois[p]
    strs=json.dumps(tmp,ensure_ascii=False).encode("UTF-8")
    filenew.write(strs+'\r\n')

fileread.close()
filenew.close()

踩过的坑：

1. 对python不熟，其实“JSON”并不是java中使用的是一个对象，仅仅是JSON格式的字符串，通过json.loads()是将读取文件的字符串转换为“字典”形式，类型为 “dict”，然后就可以对字典进行相应的操作了，譬如根据key获得value这样的形式。

2. python将JSON格式的字符串转为字典时，此时是unicode编码，一系列操作完毕后，需要通过json.dumps()将字典转换为字符串，这时候会出现各种编码问题，譬如简单dumps后中文显示的是unicode形式，如果字典里有中文，则需要加上

json.dumps(tmp,ensure_ascii=False)

打印显示时，还需调用encode将编码转换为UTF-8形式。

3. 会出现错误“UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 1: ordinal not in range(128)”

 是因为“key和value不能以混合普通字符串和unicode字符串的形式存在”.

 此外，

item=json.dumps(city_aois[poi],ensure_ascii=False)
tmp['list']=item.encode("UTF-8")
strs=json.dumps(tmp,ensure_ascii=False).encode("UTF-8")
print strs

如上做法就是先将 dict转换为字符串复制给了tmp的“list”, 然后dumps时就不会以字典的规矩馆list中的内容，一律以字符串对待，则会出现：

所以在dumps前，list中的内容也要是字典形式。最后统一dumps。 

注意使用过程中，编码一致性。

 

参考了以下博客内容：

json.dumps使用的坑以及字符编码：

http://www.cnblogs.com/stubborn412/p/3818423.html

在线查看 不同编码内容对应的汉字：

http://tool.oschina.net/encode?type=3

python字典与文件读写：

http://blog.csdn.net/frankchen0130/article/details/53136681

json.dumps编码 utf8与unicode：

https://stackoverflow.com/questions/18337407/saving-utf-8-texts-in-json-dumps-as-utf8-not-as-u-escape-sequence