【Python爬虫学习笔记8-2】MongoDB数据库操作详解
上一篇学习笔记8-1中介绍了MySQL和MongoDB的安装、启动和配置，本节我们接着学习有关MongoDB的一些概念、基本操作和在python中的使用。
MongoDB常用概念
为更好地了解MongoDB地概念，下表以SQL术语进行对照说明。
| MongoDB术语 | SQL术语 | 说明 |
| database | database | 数据库 |
| collection | table | 数据集合/表 |
| document | row | 数据记录文档/行 |
| field | column | 数据域/字段 |
| index | index | 索引 |
| joins | table | 表连接，MongoDB不支持 |
| primary key | primary key | 主键，MongoDB会自动定义一个_id为主键字段 |
MongoDB三元素
在MongoDB中有数据库、集合和文档三元素。
文档(document)：即关系型数据库中的一行，是JSON对象地扩展形式，由键值对构成。
一个文档：
{“username”:”UnikFox”,”city”:”Guangzhou”}
集合(collection)：即关系型数据库中的一张表，可以存储多个结构类型的文档。
一个集合：
{“username”:”UnikFox”,”city”:”Guangzhou”}
{“username”:”UnikFox”,”country”:”China”}
{“title”:”Python”,”date”:”2018/9”}
MongoDB基本操作命令
在MongoDB中，和MySQL一样有许多的命令，这里先简单地了解几个基本的操作命令，更多的使用会在python化MongoDB操作中提及，另外也可以下参考资料http://www.runoob.com/mongodb/mongodb-tutorial.html
1.db——查看当前所使用的数据库
> db
test
2.show dbs——查看所有的数据库
> show dbs
Test 0.000GB
admin 0.000GB
config 0.000GB
local 0.000GB
3.use <数据库名>——切换数据库，若不存在，则在内存中新建一个（但此时并不真实存在，需要插入数据后才写入数据库系统）
> use LALa
switched to db LALa> show dbs
Test 0.000GB
admin 0.000GB
config 0.000GB
local 0.000GB
4.db.dropDatabase()——删除当前所使用的数据库
> use Test
switched to db Test> db.dropDatabase()
{ "dropped" : "Test", "ok" : 1 }
> show dbs
admin 0.000GB
config 0.000GB
local 0.000GB
5.db.<集合名>.insert(value)——添加一个文档到指定的集合中
> use Test
switched to db Test> db.info.insert({"username":"Uni","city":"Guangzhou"})
WriteResult({ "nInserted" : 1 })
6.db.<集合名>.find()——从指定的集合中查找数据
> db.info.find()
{ "_id" : ObjectId("5ba73f632c43d991ec8ea178"), "username" : "Uni", "city" : "Guangzhou" }
Python化MongoDB
和MySQL的python化操作一样，使用python操作MongoDB也需要一个中间件——pymongo。我们可以使用pip命令来安装：
pip install pymongo
1.连接MongoDB，并指定数据库和集合
和pymysql的用法类似，起初都需要创建连接对象，所不同的是：在MySQL中创建时传入了数据库参数，而mongoDB中创建时只需要传入IP及端口号即可，数据库在后续可以自由切换。
##连接MongoDB，并设置所访问的数据库和集合 import pymongo # 获取连接mongodb的对象 client = pymongo.MongoClient(host="localhost", port=27017) # 获取数据库对象 db = client.citylist #或通过键来获取：db = client['citylist'] # 获取数据库中的集合 collection = db.city #或通过键来获取：collection = db['city']
2.增删改查基本操作
在pymongo中，对增删改查这四种操作都提供了’单元操作’和’多元操作’两种方式。’单元操作’即操作的对象为一个文档，而’多元操作’的对象为多个文档。接下来我们通过一些示例来了解其用法。
（1）插入数据——<collection>.insert(object) 或 <collection>.insert_many(objects_list)
这两个方法都可以直接使用，且返回值为所插入数据的_id值或_id的集合列表。
# 插入数据 row1 = { 'city': 'ShenZhen', 'province': 'GuangDong' } row2 = { 'city': 'ZhongShan', 'province': 'GuangDong' } row3 = { 'city': 'WuHan', 'province': 'HuBei' } # 插入一条数据 result = collection.insert(row1) print(result) #5ba7762da78f5e3c1457db12 # 插入多条数据 results = collection.insert_many([row2,row3]) print(results) #<pymongo.results.InsertManyResult object at 0x0000020E7530CE88>
（2）删除数据——<collection>.delete_one(condition_dict) 或 <collection>.delete_many(condition_dict)
这两个方法传入的参数是一个条件过滤字典，用于筛选所要删除的数据，其返回值为一个DeleteResult类型，同时还可以使用deleted_count属性获取删除的数据条数。
#删除数据 # 删除一条’province’为’HuBei’的数据 result = collection.delete_one({"province":"HuBei"}) print(result) #<pymongo.results.DeleteResult object at 0x000002292EA8CE88> print(result.deleted_count) #1 # 删除所有’province’为’GuangDong’的数据 results = collection.delete_many({"province":"GuangDong"}) print(results) #<pymongo.results.DeleteResult object at 0x000002292EAC1188> print(results.deleted_count) #2
（3）更新数据——<collection>.update_one(condition_dict,{‘$set’:{key_value}}) 或 <collection>.update_many(condition_dict,{‘$set’:{key_value}})
更新方法中的第一个参数为条件过滤字典，用于筛选所要更新的数据，第二个参数为待更新的键值字段字典，这两个方法的返回值均为UpdateResult类型，我们可以调用其matched_count和modified_count属性分别来获得匹配的数据条目和影响的数据条目。
# 更新数据 # 将一条'province'为'GuangDong'的数据'city'字段值更新为'GuangZhou' result = collection.update_one({"province":"GuangDong"},{"$set":{"city":"GuangZhou"}}) print(result) #<pymongo.results.UpdateResult object at 0x000001E892F461C8> print(result.matched_count,result.modified_count) #1 1 # 将所有'province'为'GuangDong'的数据'city'字段值更新为'GuangDong_cities' results = collection.update_many({"province": "GuangDong"}, {"$set": {"city": "GuangDong_cities"}}) print(results) #<pymongo.results.UpdateResult object at 0x00000221AC1B60C8> print(results.matched_count, results.modified_count)#2 2
（4）查找数据——<collection>.find_one(condition_dict) 或 <collection>.find(condition_dict)
同删除和更新一样，其需传入一个用于筛选的条件过滤字典，方法的返回值是所查询到的文档的字典数据或数据的迭代器，因此我们可以通过键来获取相应的字段数据。此外我们还可以对返回值调用count()方法来获取查询到的条目数。
# 查找数据 # 查询一条'city'字段为'WuHan'的数据 result = collection.find_one({"city":"WuHan"}) print(type(result)) #<class 'dict'> print(result) #{'_id': ObjectId('5ba77fb3a78f5e39643a476e'), 'city': 'WuHan', 'province': 'HuBei'} print(result['province']) #HuBei # 查询collection中所有数据 cursor = collection.find() print(type(cursor)) #<class 'pymongo.cursor.Cursor'> print(cursor) #<pymongo.cursor.Cursor object at 0x000001DE4C39CA90> print(cursor.count()) #3 for x in cursor: print(x) """ Output: {'_id': ObjectId('5ba77fb2a78f5e39643a476c'), 'city': 'ShenZhen', 'province': 'GuangDong'} {'_id': ObjectId('5ba77fb3a78f5e39643a476d'), 'city': 'ZhongShan', 'province': 'GuangDong'} {'_id': ObjectId('5ba77fb3a78f5e39643a476e'), 'city': 'WuHan', 'province': 'HuBei'} """
3.其他使用
(1)比较符号和功能符号
在上述的条件过滤字典中，我们都是使用’等于‘关系，而实际上我们常常需要根据’不等‘关系来筛选数据，因此在MongoDB中提供了如下常用的比较符号和一些辅助的功能符号。
比较符号：
| 符号 | 含义 | 示例 |
| $lt | 小于 | {‘price’:{‘$lt’:12}} |
| $gt | 大于 | {‘price’:{‘$gt’:12}} |
| $lte | 小于等于 | {‘price’:{‘$lte’:12}} |
| $gte | 大于等于 | {‘price’:{‘$gte’:12}} |
| $ne | 不等于 | {‘price’:{‘$ne’:12}} |
| $in | 在范围内 | {‘price’:{‘$in’:[10,20]}} |
| $nin | 不在范围内 | {‘price’:{‘$nin’:[10,20]}} |
功能符号：
| 符号 | 含义 | 示例 | 说明 |
| $regex | 匹配正则表达式 | {‘city’:{‘$regex’:’C.*’}} | 字段city以C开头 |
| $exists | 属性是否存在 | {‘city’:{‘$exists’:True}} | 属性city存在 |
| $type | 类型判断 | {‘city’:{‘$type’:’String’}} | 字段city类型为String |
| $mod | 模操作 | {‘number’:{‘$mod’:[2,1]}} | number字段模2余1 |
| $text | 文本查询 | {‘$text’:{‘$search’:’Hello’}} | text类型的属性中包含Hello字符串 |
| $where | 高级条件查询 | {‘$where’:’obj.grade1>obj.grade2’} | 自身的grade1大于grade2 |
(2)排序
在查询后的结果中，我们可以使用sort(field,<排序规则>)方法来排序，其中第一个参数field为排序关键字，第二个参数指明排序规则为升序(pymongo.ASCENDING)还是降序(pymongo.DESCENDING)
cursor = collection.find().sort('city',pymongo.ASCENDING)
print([result['city'] for result in cursor ])
#['ShenZhen', 'WuHan', 'ZhongShan']
(3)偏移
对于查询后的结果我们也可以使用skip(count)来实现偏移获取，即忽略前count条数据；同时我们还可以使用limit(count)来限制获取数据的条目数
cursor = collection.find().sort('city',pymongo.ASCENDING).skip(1)
print([result['city'] for result in cursor ])
#['WuHan', 'ZhongShan']
cursor = collection.find().sort('city',pymongo.ASCENDING).skip(1).limit(1)
print([result['city'] for result in cursor ])
#['WuHan']
