json解析模块
import json # json.dumps()之前 item = {'name':'QQ','app_id':1} print('before dumps',type(item)) # before dumps <class 'dict'> # json.dumps之后 item = json.dumps(item) print('after dumps',type(item)) # after dumps <class 'str'>
把python数据类型 转为 json格式的字符串
# 一般让你把抓取的数据保存为json文件时使用
参数说明:
第1个参数: python类型的数据(字典,列表等) 第2个参数: 文件对象 第3个参数: ensure_ascii=False # 序列化时编码
示例:
import json # 示例1 item = {'name': '金毛狮王', 'card': '屠龙刀'} with open('yt.json', 'a') as f: json.dump(item, f, ensure_ascii=False) # json.load() 把文件中的json串读取并转为python数据类型 with open('yt.json', 'r') as f: res = json.load(f) print(type(res)) #<class 'dict'> # 示例2 item_list = [ {'name': '紫衫龙王', 'card': '123'}, {'name': '青翼蝠王', 'card': '456'} ] with open('yy.json', 'a') as f: json.dump(item_list, f, ensure_ascii=False)
示例:
import json item_list = [] for i in range(3): item = {'name': 'QQ', 'id': i} item_list.append(item) with open('xiaomi.json', 'a') as f: json.dump(item_list, f, ensure_ascii=False) #[{"name": "QQ", "id": 0}, {"name": "QQ", "id": 1}, {"name": "QQ", "id": 2}]
练习:将腾讯招聘数据存入到json文件
# 1. __init__() self.f = open('tencent.json','a') self.item_list = [] # 2. parse_page() self.item_list.append(item) # 3. main() json.dump(self.item_list,self.f,ensure_ascii=False) self.f.close()
json模块总结
# 爬虫最常用 1、数据抓取 - json.loads(html) 将响应内容由: json 转为 python 2、数据保存 - json.dump(item_list,f,ensure_ascii=False) 将抓取的数据保存到本地 json文件 # 抓取数据一般处理方式 1、txt文件 2、csv文件 3、json文件 4、MySQL数据库 5、MongoDB数据库 6、Redis数据库