python5数据存储
1 txt文件存储
正常调用文件python文件操作
https://www.cnblogs.com/x2x3/p/9979919.html
2 json文件存储
在JavaScript语言中,一切都是对象。因此,任何支持的类型都可以通过JSON来表示,例如字符串、数字、对象、数组等,但是对象和数组是比较特殊且常用的两种类型,下面简要介绍一下它们。
- 对象:它在JavaScript中是使用花括号
{}
包裹起来的内容,数据结构为{key1:value1, key2:value2, ...}
的键值对结构。在面向对象的语言中,key
为对象的属性,value
为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。 - 数组:数组在JavaScript中是方括号
[]
包裹起来的内容,数据结构为["java", "javascript", "vb", ...]
的索引结构。在JavaScript中,数组是一种比较特殊的数据类型,它也可以像对象那样使用键值对,但还是索引用得多。同样,值的类型可以是任意类型。
所以,一个JSON对象可以写为如下形式:
[{
"name": "Bob",
"gender": "male",
"birthday": "1992-10-18"
}, {
"name": "Selina",
"gender": "female",
"birthday": "1995-10-18"
}]
2
3
4
5
6
7
8
9
|
[{
"name":"Bob",
"gender":"male",
"birthday":"1992-10-18"
},{
"name":"Selina",
"gender":"female",
"birthday":"1995-10-18"
}]
|
Python为我们提供了简单易用的库来实现JSON文件的读写操作,我们可以调用库的loads()
方法将JSON文本字符串转为JSON对象,可以通过dumps()
方法将JSON对象转为文本字符串
值得注意的是,JSON的数据需要用双引号来包围,不能使用单引号。例如,若使用如下形式表示,则会出现错误
json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 (char 8)
另外,如果JSON中包含中文字符,会怎么样呢?例如,我们将之前的JSON的部分值改为中文,再用之前的方法写入到文本:
import json
data = [{
'name': '王伟',
'gender': '男',
'birthday': '1992-10-18'
}]
with open('data.json', 'w') as file:
file.write(json.dumps(data, indent=2))
json.dumps('中国你好')
'中国你好' 是ascii 字符码,而不是真正的中文。
这是因为json.dumps 序列化时对中文默认使用的ascii编码
想输出真正的中文需要指定ensure_ascii=False
json.dumps中可以放置json字符串,但是也必须指定ensure_ascii=False
---------------------
作者:蜡笔小心丶
来源:CSDN
原文:https://blog.csdn.net/u011615787/article/details/73089523/
版权声明:本文为博主原创文章,转载请附上博文链接!
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
# -*- coding:utf-8 -*- import json str = ''' [{ "name": "木头", "gender": "马尾", "birthday": "1992-10-18" }, { "name": "Selina", "gender": "female", "birthday": "1995-10-18" }] ''' print(type(str)) data=json.loads(str) print(type(data)) # 另外,如果想保存JSON的格式,可以再加一个参数indent,代表缩进字符个数 str=json.dumps(data,indent=2,ensure_ascii=False) print(type(str)) with open('file.txt','w+',encoding='utf-8') as f: f.write(str) f.flush() f.seek(0) data=f.read() print(json.loads(data))
请千万注意JSON字符串的表示需要用双引号,否则loads()
方法会解析失败。
可以看到,中文字符都变成了Unicode字符,这并不是我们想要的结果。
被写入的文件 中文显示为Unicode字符
为了输出中文,还需要指定参数ensure_ascii
为False
,另外还要规定文件输出的编码
可以发现,这样就可以输出JSON为中文了
3 csv文件存储
CSV,全称为Comma-Separated Values,中文可以叫作逗号分隔值或字符分隔值,其文件以纯文本形式存储表格数据。该文件是一个字符序列,可以由任意数目的记录组成,记录间以某种换行符分隔。每条记录由字段组成,字段间的分隔符是其他字符或字符串,最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列,相当于一个结构化表的纯文本形式。它比Excel文件更加简介,XLS文本是电子表格,它包含了文本、数值、公式和格式等内容,而CSV中不包含这些内容,就是特定字符分隔的纯文本,结构简单清晰。所以,有时候用CSV来保存数据是比较方便的
用fieldnames
表示,然后将其传给DictWriter
来初始化一个字典写入对象,接着可以调用writeheader()
方法先写入头信息,然后再调用writerow()
方法传入相应字典即可
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
#csv_write_test import csv with open('data.csv','w') as csvfile: writer=csv.writer(csvfile) writer.writerow(['id', 'name', 'age']) #写入单行 writer.writerow(['001','walker','18']) writer.writerows([['001','walker','18'],['001','walker','18']]) #写入多行,参数为列表中包含列表 with open('data.csv','w') as csvfile: writer=csv.writer(csvfile,delimiter=' ') #delimiter 指定分隔符 writer.writerow(['id', 'name', 'age']) writer.writerow(['001','walker','18']) #json 格式的csv存储 with open('json.csv','w') as csvfile: #用fieldnames表示,然后将其传给DictWriter来初始化一个字典写入对象, # 接着可以调用writeheader()方法先写入头信息,然后再调用writerow()方法传入相应字典即可。 # 最终写入的结果是完全相同的 filenames=['id', 'name', 'age'] writer=csv.DictWriter(csvfile,fieldnames=filenames,delimiter=',') #json依然可以传入分隔符;也可以通过writerows写入多行 writer.writeheader() writer.writerow({'id': '10004', 'name': 'Durant', 'age': 22}) #读取csv文件 with open('json.csv', 'r', encoding='utf-8') as csvfile: #这里我们构造的是Reader对象,通过遍历输出了每行的内容,每一行都是一个列表形式。 # 注意,如果CSV文件中包含中文的话,还需要指定文件编码 reader = csv.reader(csvfile) for row in reader: print(row) #另一种读取方法 import pandas as pd df = pd.read_csv('data.csv') print(df)
mysql存储
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
# -*- coding:utf-8 -*- import pymysql db = pymysql.connect(host='localhost',user='root', password='123456', port=3306) cursor = db.cursor() #在很多情况下,我们要达到的效果是插入方法无需改动,做成一个通用方法,只需要传入一个动态变化的字典就好了。比如,构造这样一个字典 #然后SQL语句会根据字典动态构造,元组也动态构造,这样才能实现通用的插入方法。所以,这里我们需要改写一下插入方法: data = { 'id': '20120001', 'name': 'Bob', 'age': 20 } table = 'students' keys = ', '.join(data.keys()) values = ', '.join(['%s'] * len(data)) sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table, keys=keys, values=values) try: if cursor.execute(sql, tuple(data.values())): print('Successful') db.commit() except: print('Failed') db.rollback() db.close() #这里我们传入的数据是字典,并将其定义为data变量。表名也定义成变量table。接下来,就需要构造一个动态的SQL语句了。 # 首先,需要构造插入的字段id、name和age。这里只需要将data的键名拿过来,然后用逗号分隔即可。+所以 # ', '.join(data.keys())的结果就是id, name, age,然后需要构造多个%s当作占位符,有几个字段构造几个即可。比如, # 这里有三个字段,就需要构造%s, %s, %s。这里首先定义了长度为1的数组['%s'],然后用乘法将其扩充为['%s', '%s', '%s'], # 再调用join()方法,最终变 # INSERT INTO students(id, name, age) VALUES (%s, %s, %s)
三 非关系型数据库mongodb
NoSQL,全称Not Only SQL,意为不仅仅是SQL,泛指非关系型数据库。NoSQL是基于键值对的,而且不需要经过SQL层的解析,数据之间没有耦合性,性能非常高
对于爬虫的数据存储来说,一条数据可能存在某些字段提取失败而缺失的情况,而且数据可能随时调整。另外,数据之间还存在嵌套关系。如果使用关系型数据库存储,一是需要提前建表,二是如果存在数据嵌套关系的话,需要进行序列化操作才可以存储,这非常不方便。如果用了非关系型数据库,就可以避免一些麻烦,更简单高效。
MongoDB是由C++语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似JSON对象
连接mongodb
连接MongoDB时,我们需要使用PyMongo库里面的MongoClient
。一般来说,传入MongoDB的IP及端口即可,其中第一个参数为地址host
,第二个参数为端口port
(如果不给它传递参数,默认是27017):
import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)
这样就可以创建MongoDB的连接对象了。
另外,MongoClient
的第一个参数host
还可以直接传入MongoDB的连接字符串,它以mongodb
开头,例如:
client = MongoClient('mongodb://localhost:27017/')
指定数据库
MongoDB中可以建立多个数据库,接下来我们需要指定操作哪个数据库。这里我们以test数据库为例来说明,下一步需要在程序中指定要使用的数据库
db = client.test
4. 指定集合
MongoDB的每个数据库又包含许多集合(collection),它们类似于关系型数据库中的表。
下一步需要指定要操作的集合,这里指定一个集合名称为students。与指定数据库类似,指定集合也有两种方式
collection = db.students
collection = db['students']
5. 插入数据
在MongoDB中,每条数据其实都有一个_id
属性来唯一标识。如果没有显式指明该属性,MongoDB会自动产生一个ObjectId
类型的_id
属性。insert()
方法会在执行后返回_id
值
实际上,在PyMongo 3.x版本中,官方已经不推荐使用insert()
方法了。当然,继续使用也没有什么问题。官方推荐使用insert_one()
和insert_many()
方法来分别插入单条记录和多条记录
student = {
与insert()
方法不同,这次返回的是InsertOneResult
对象,我们可以调用其inserted_id
属性获取_id
。
对于insert_many()
方法,我们可以将数据以列表形式传递
与insert()
方法不同,这次返回的是InsertOneResult
对象,我们可以调用其inserted_id
属性获取_id
。
对于insert_many()
方法,我们可以将数据以列表形式传递,示例如下
student1 = {
'id': '20170101',
'name': 'Jordan',
'age': 20,
'gender': 'male'
}
student2 = {
'id': '20170202',
'name': 'Mike',
'age': 21,
'gender': 'male'
}
result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)
该方法返回的类型是InsertManyResult
,调用inserted_ids
属性可以获取插入数据的_id
列表
6. 查询
find_one()
或find()
方法进行查询,其中find_one()
查询得到的是单个结果,find()
则返回一个生成器对象
result = collection.find_one({'name': 'Mike'})
print(type(result))
print(result)
对于多条数据的查询,我们可以使用find()
方法
results = collection.find({'age': 20})
表5-3 比较符号
符号 |
含义 |
示例 |
---|---|---|
|
小于 |
|
|
大于 |
|
|
小于等于 |
|
|
大于等于 |
|
|
不等于 |
|
|
在范围内 |
|
|
不在范围内 |
|
更高级查询
表5-4 功能符号
符号 |
含义 |
示例 |
示例含义 |
---|---|---|---|
|
匹配正则表达式 |
|
|
|
属性是否存在 |
|
|
|
类型判断 |
|
|
|
数字模操作 |
|
年龄模5余0 |
|
文本查询 |
|
|
|
高级条件查询 |
|
自身 |
7. 计数
要统计查询结果有多少条数据,可以调用count()
方法
count = collection.find().count()
print(count)
11. 删除
删除操作比较简单,直接调用remove()
方法指定删除的条件即可,此时符合条件的所有数据均会被删
result = collection.remove({'name': 'Kevin'})
print(result)
另外,这里依然存在两个新的推荐方法——delete_one()
和delete_many()
result = collection.delete_one({'name': 'Kevin'})
print(result)
print(result.deleted_count)
result = collection.delete_many({'age': {'$lt': 25}})
print(result.deleted_count)
delete_one()
即删除第一条符合条件的数据,delete_many()
即删除所有符合条件的数据。它们的返回结果都是DeleteResult
类型,可以调用deleted_count
属性获取删除的数据条数
三
Redis存储
Redis是一个基于内存的高效的键值型非关系型数据库,存取效率极高,而且支持多种存储数据结构,使用也非常简单
在开始之前,请确保已经安装好了Redis及RedisPy库。如果要做数据导入/导出操作的话,还需要安装RedisDump。如果没有安装
https://cuiqingcai.com/5587.html