Python-爬虫-（Json和Csv）文件存储

用解析器解析出的数据后，可以通过TXT、JSON、CSV等文件形式进行存储；

1、TXT形式此处略；

2、JSON文件存储

json即js 对象标记，是一种数据格式；

json格式：

json对象：{"username":"ADMIN","pwd":"xxxx","address":"北京"}

json数组：[{"name":"smith","age":"23"},{"name":"jones","age":"23"},{"name":"zye","age":"23"}]

 

例如：

import json
str='''
[{"name":"小明","age":"23"},{"name":"jones","age":"23"},{"name":"zye","age":"23"}]
'''
print(type(str))
obj=json.loads(str)#将json格式字符串转为json
print(type(obj))
#取值
print(obj[0]['name'])
print(obj[1]['age'])
print(obj[1].get('name'))
print(obj[1].get('address','北京'))#即如果该字段为None或者该key不存在时，会采用默认值；即第二个参数为默认值

#加载一个json文件
with open("read.json",'r') as file:
    s=file.read()
    j=json.loads(s)
    print(j[0]['name'])

#输出json
jsonArray=[{'name':'sd'},{'name':'ss'}]
with open('test.json','w') as  file:
    file.write(json.dumps(jsonArray))

#或者：
jsonObj=json.loads(str)
with open('test.json','w') as file:
    file.write(json.dumps(jsonObj))

#或者：如果有中文，且想格式化
jsonObj=json.loads(str)
with open('test.json','w',encoding='utf-8') as file:
    file.write(json.dumps(jsonObj,indent=2,ensure_ascii=False))#格式化了json,

写入test.json后格式：

[
  {
    "name": "小明",
    "age": "23"
  },
  {
    "name": "jones",
    "age": "23"
  },
  {
    "name": "zye",
    "age": "23"
  }
]

 2、CSV文件操作

CSV通过分隔符进行风格以纯文本形式存储表格数据；该文件是一个字符序列，可以任意数目组成的记录，记录之间通过换行符分离；

将数据写入csv文件

import csv
with open ('data .csv',  'w',newline='') as csvfile:# newline=''设置换行，否则会出现空行
     writer = csv.writer(csvfile,delimiter=':')#delimiter=':' 设置：号隔开
     writer.writerow (['id', 'ame','age'])
     writer. writerow( ['10001', 'Mike',20])
     writer .writerow (['10002','Bob',22])

     writer.writerows([['1003','JEL',23],['1004','JESR',34],['1005','ESR',34]])
     csvfile.close()

#字典形式写入
with open('abc.csv','w',newline='',encoding='utf-8 ') as myfile:#设置w为a则此时会像文档中追加内容
     fieldnames=['id','name','addr']
     writer=csv.DictWriter(myfile,delimiter='!',fieldnames=fieldnames)
     writer.writeheader()
     writer.writerow({'id':'1001','name':'JONES','addr':'北京'})
     writer.writerow({'id': '1002', 'name': 'smith', 'addr': '北京'})
     writer.writerow({'id': '1003', 'name': 'jenes', 'addr': '北京'})

读取csv文件：

#读取数据
with open('abc.csv','r',encoding='utf-8') as myfile:
     csvReader=csv.reader(myfile)
     for r in csvReader:
          print(r)