Python爬虫之数据存储（无数据库版）

Python对HTML正文抽取后存储为两种格式：JSON和CSV

一、存储为JSON：

Python对JSON文件的操作分为编码和解码，通过JSON模块来实现。编码过程是把Python对象转换成JSON对象的一个过程，常用的两个函数是dumps和dump函数。两个函数的唯一区别就是dump把Python对象转换成JSON对象，并将JSON对象通过fp文件流写入文件中，而dumps则是生成了一个字符串。

dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True,allow_nan=True, cls=None, indent=None, separators=None,default=None, sort_keys=False, **kw)

dump(obj, fp, skipkeys=False, ensure_ascii=True, check_circular=True,allow_nan=True, cls=None, indent=None, separators=None,default=None, sort_keys=False, **kw)

常用参数分析：

Skipkeys：默认值是False，如果dict的keys内的数据不是python的基本类型(str,unicode,int,long,float,bool,None)，设置为False时，就会报TypeError的错误。此时设置成True，则会跳过这类key

ensure_ascii:，当它为True的时候，所有非ASCII码字符显示为\uXXXX序列，只需在dump时将ensure_ascii设置为False即可，此时存入json的中文即可正常显示。)

indent：应该是一个非负的整型，如果是0就是顶格分行显示，如果为空就是一行最紧凑显示，否则会换行且按照indent的数值显示前面的空白分行显示，这样打印出来的json数据也叫pretty-printed json

separators：分隔符，实际上是(item_separator,dict_separator)的一个元组，默认的就是(',',':')；这表示dictionary内keys之间用“,”隔开，而KEY和value之间用“：”隔开。

encoding：默认是UTF-8，设置json数据的编码方式。

sort_keys：将数据根据keys的值进行排序。

例如：抽取盗墓笔记（http://seputu.com/）的标题，存放在/home/demo.json文件中

from bs4 import BeautifulSoup

import requests

import json

user_agent = 'Mozilla/4.0 (compatible;MSIE 5.5;Window NT)'

headers = {'User-Agent':user_agent}

r = requests.get('http://seputu.com/',headers=headers)

#print(r.text)

soup = BeautifulSoup(r.text,'html.parser')

content = []

for mulu in soup.find_all(class_="mulu"):

h2 = mulu.find('h2')

if h2 != None:

h2_title = h2.string #获取标题

list = []

for a in mulu.find(class_='box').find_all('a'): #获取所有的a标签中url和章节内容

href = a.get('href')

box_title = a.get('title')

list.append({'href':href,'box_title':box_title})

content.append({'title':h2_title,'content':list})

with open('/home/demo.json,'w') as fp:

json.dump(content,fp=fp,ensure_ascii=False,indent=4)

 

 

 

 

二、存储为CSV：

CSV（Comma-Separated Values，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。

CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。

特点

• 读取出的数据一般为字符类型，如果是数字需要人为转换为数字

• 以行为单位读取数据

• 列之间以半角逗号或制表符为分隔，一般为半角逗号

• 一般为每行开头不空格，第一行是属性列，数据列之间以间隔符为间隔无空格，行之间无空行。

1、Python使用csv库来读写CSV文件，需要用到Writer对象：

（1）写入CSV文件：

import csv

headers = ['ID','UserName','Password','Age','Country']

rows = [(1001,'aa','123',24,'中国'),

       (1002,'bb','111',25,'美国'),

       (1003,'cc','222',26,'德国'),

      ]

with open('/home/demo.csv','w') as f:

    f_csv = csv.writer(f)

    f_csv.writerow(headers)

    f_csv.writerow(rows)

（2）读取CSV文件：

with open('/home/demo.csv') as f:

      f_csv = csv.reader(f)

      headers = next(f_csv)

      print(headers)

      for row in f_csv:

           print(row)