爬虫—文件存储—CSV存储
一，简介
CSV，全称Comma—Separated Values，可以称为逗号分隔或者字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以有任意的数目记录组成，记录间已某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。相比EXcel更加简洁，就是特定字符分隔的纯文本。
二，写入CSV文件
1.简单的例子：
import csv with open('data.csv', 'w') as f: writer = csv.writer(f) writer.writerow(['id', 'name', 'age']) writer.writerow(['1', 'rain', '20']) writer.writerow(['2', 'godric', '22']) writer.writerow(['3', 'tony', '25'])
运行结束后会生成一个data.csv的文件，此时数据就成功写入了。直接以文本形式打开，会显示如下内容：
id,name,age
1,rain,20
2,godric,22
3,tony,25
可以看到写入的文本默认以逗号分隔，调用一次writer（）方法就会写入一行数据。使用Excel打开：
如果想要修改列与列之间的分隔符，使用delimiter参数：
# 修改分隔符 with open('data.csv', 'w') as f: writer = csv.writer(f, delimiter="-") writer.writerow(['id', 'name', 'age']) writer.writerow(['1', 'rain', '20']) writer.writerow(['2', 'godric', '22']) writer.writerow(['3', 'tony', '25'])
使用纯文本格式打开：
id-name-age
1-rain-20
2-godric-22
3-tony-25
另外，writer（）方法也可以多行写入，其结果是一样的：
writer.writerow(['1', 'rain', '20']，['2', 'rain', '20']，['3', 'rain', '20'])
2.写入字典
但是一般情况下，爬虫爬取的都是结构化数据，我们一般会用字典来表示。csv中的字典写入方式：
# 字典写入 with open('data.csv', 'w') as f: field_name = ['id', 'name', 'age'] writer = csv.DictWriter(f, fieldnames=field_name) writer.writeheader() writer.writerow({'id': '1', 'name': 'rain', 'age': '20'}) writer.writerow({'id': '2', 'name': 'godric', 'age': '22'}) writer.writerow({'id': '3', 'name': 'tony', 'age': '25'})
这里先定义3个字段，使用field_name来表示，然后将其传给DictWriter来初始化一个字典写入对象，再使用writeheader（）方法写入头信息，最后调用writerow（）方法写入字典即可。结果和上面的一样。
3.追加内容
如果想要在文件后面追加内容，将open（）函数的第二个参数改为a即可：
# 追加 with open('data.csv', 'a') as f: field_name = ['id', 'name', 'age'] writer = csv.DictWriter(f, fieldnames=field_name) writer.writeheader() writer.writerow({'id': '4', 'name': 'thor', 'age': '1000'})
结果如下：
id,name,age 1,rain,20 2,godric,22 3,tony,25 id,name,age 4,thor,1000
4.写入中文
如果需要写入中文信息，此时要指定编码格式，否则可能会发生编码错误。
# 中文需要指定编码 with open('data.csv', 'a', encoding='utf-8') as f: field_name = ['id', 'name', 'age'] writer = csv.DictWriter(f, fieldnames=field_name) writer.writeheader() writer.writerow({'id': '5', 'name': '王翔', 'age': '22'})
结果如下：
id,name,age 1,rain,20 2,godric,22 3,tony,25 id,name,age 4,thor,1000 id,name,age 5,王翔,22
5.去除空行
在写入文件的时候会像上面出现多余的空行，这时候可以在open（）函数内添加，一个参数来去掉多余的空行newline=''，以字典写入为例：
with open('data.csv', 'w', newline='') as f: field_name = ['id', 'name', 'age'] writer = csv.DictWriter(f, fieldnames=field_name) writer.writeheader() writer.writerow({'id': '1', 'name': 'rain', 'age': '20'}) writer.writerow({'id': '2', 'name': 'godric', 'age': '22'}) writer.writerow({'id': '3', 'name': 'tony', 'age': '25'})
结果：
['id', 'name', 'age'] ['1', 'rain', '20'] ['2', 'godric', '22'] ['3', 'tony', '25']
二，读取文件
同样适用csv来读取文件。读取刚才写入的文件：
# 文件读取 with open('data.csv', 'r', encoding='utf-8') as f: reader = csv.reader(f) for row in reader: print(row)
读取结果：
['id', 'name', 'age'] ['1', 'rain', '20'] ['2', 'godric', '22'] ['3', 'tony', '25']
这里我们构造了Reader对象，通过遍历输出了每一行内容，每一方都是一个列表形式。如果内容包含中文，需要指定编码。
此外，还可以使用pandas读取文件：
import pandas as pd data = pd.read_csv('data.csv') print(data)
结果：
id name age
0 1 rain 20
1 2 godric 22
2 3 tony 25
使用pandas可以快捷的读取csv文件内容，数据分析时使用此方法较多。
