MongoDB 数据库 — Python 连接
1 MongoDB 简介
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。
MongoDB 中的递归关系:
- MongoDB的一个实例可以拥有多个相互独立的数据库(database),每个数据库都拥有自己的集合;
- 集合(collection)可以看作是一个拥有动态模式(dynamic schema)的表;
- 文档是 MongoDB 中数据的基本单元,相当于关系型数据库中的行;
- 每一个文档都有一个特殊的键 "_id",这个键在文档所属的集合中是唯一的。
文档中的键/值对是有序的:{“x”:1, “y”:2} 与 {“y”:2, “x”:1} 是不同的。
通过下图实例,我们也可以更直观的理解 Mongo 中的一些概念:
2 Python 连接 MongoDB
工作中主要是在阿里云服务器的 MongoDB 查询窗口中进行查询,有时候也会利用 Python 连接 MongoDB 查询。
Python 连接阿里云 MongoDB,首先需要安装 Python 模块 pymongo,然后依据如下操作:
from pymongo import MongoClient
client = MongoClient('mongodb://username:password@localhost:port/database')
db = client.database # 这里为什么还要再加一次数据库名称?
# 或者
client = MongoClient('mongodb://localhost:port/database', username='username', password='password')
3 Mongo 日期类型
在 Mongo 中可以看到时间的存储类型为 ISODate,比如 "reqTime": "ISODate("2018-07-11T02:12:49.109Z")" 。这是由于 Mongo 中的时间以 UTC(Coordinated Universal Time)类型存储,就等于 GMT(格林尼治标准时)时间。而我们当前所处的是 +8 区(北京时间),所以 Mongo 会将当前时间减去 8,然后存储成 GMT 时间。
3.1 Mongo shell 日期类型
3.1.1 new Date() 和 Date() 比较
# new Date() 返回当前的 Date 日期对象,mongo shell 使用 ISODate 来包装 Date 对象
db.test.insert( { mark: 1, mark_time: new Date() } )
# Date() 返回当前日期的字符串形式
db.test.insert( { mark: 2, mark_time: Date() } )
db.test.find()
# 返回结果
{ "_id" : ObjectId("5126e00939899c4cf3805f9b"), "mark" : 1, "mark_time" : ISODate("2019-06-05T03:03:37.312Z") }
{ "_id" : ObjectId("5126e00c39899c4cf3805f9c"), "mark" : 2, "mark_time" : "Wed Jun 05 2019 11:03:40 GMT+0800" }
我们可以传递给 new Date() 构建器或者 ISODate() 函数,这些函数接受下面的格式:
- new Date("YYYY-mm-dd") 返回 ISODate 指定的 date
- new Date("YYYY-mm-ddTHH:MM:ss") 指定客户端当前时区的 datetime,并且返回 UTC 中 ISODate 指定的 datetime
- new Date("YYYY-mm-ddTHH:MM:ssZ") 指定 UTC 中的 datetime,并且返回 UTC 中 ISODate 指定的 datetime
- new Date(integer) 指定自 Unix epoch (Jan 1,1970) 以来的 datetime 为 milliseconds,并且返回 ISODate 实例
3.1.2 在阿里云 MongoDB 查询窗口运行实例
实例 1
db.arcVerify.aggregate([
{'$match': {'addTime': {'$gte': new Date("2019-06-05T00:00:00") } }
},
{'$match': {'sceneNo': '800'}
}
])
实例 2
db.arcVerify.aggregate([
{'$match': {'addTime': {'$gte': new Date("2019-06-05 00:00:00") } }
},
{'$match': {'sceneNo': '800'}
}
])
实例 3
db.arcVerify.aggregate([
{'$match': {'addTime': {'$gte': new Date("06/05/2019") } }
},
{'$match': {'sceneNo': '800'}
}
])
实例 4
db.arcVerify.aggregate([
{'$match': {'addTime': {'$gte': new Date("2019-06-05") } }
},
{'$match': {'sceneNo': '800'}
}
])
实例 5
db.arcVerify.aggregate([
{'$match': {'addTime': {'$gte': new Date("2019-06-05T00:00:00Z") } }
},
{'$match': {'sceneNo': '800'}
}
])
实例 6
db.arcVerify.aggregate([
{'$match': {'addTime': {'$gte': ISODate("2019-06-04T16:00:00.000Z")} }
},
{'$match': {'sceneNo': '800'}
}
])
实例 7
# 图中显示时间为当前运行时间
db.arcVerify.aggregate([
{'$match': {'addTime': {'$gte': Date("2019-06-05 00:00:00.00")} }
},
{'$match': {'sceneNo': '800'}
}
])
3.2 Python 查询日期
3.2.1 Python 日期类型
pyMongo 使用 datetime.datetime 对象来表示 MongoDB documents(文档) 中 dates 和 times。因为 MongoDB 假定 dates 和 times 是 UTC 形式的,所以我们要确保被写进数据库的时间可以反映 UTC。例如,下面的代码在 MongoDB 中存储当前 UTC date 和 time:
result = db.objects.insert_one( { "last_modified": datetime.datetime.utcnow() } )
使用 datetime.datetime.utcnow() 可以返回 UTC 中的 current time,而 datetime.datetime.now() 返回 current local time。避免如下操作:
result = db.objects.insert_one( { "last_modified": datetime.datetime.now() } )
在上面两个例子中,虽然两个文档都在同样的 local time 被存储,但是 last_modified 值是非常不同的。这可能对于读取它们的应用来说会有些混乱:
[doc['last_modified'] for doc in db.objects.find()]
# 结果
[datetime.datetime(2019, 6, 7, 4, 23, 41, 582944),
datetime.datetime(2019, 6, 7, 12, 23, 42, 727949)]
3.2.2 实例
查找 2019-06-06 日的数据
from datetime import datetime
date = '2019-06-06'
intdate = [int(i) for i in date.split("-")]
date1 = datetime(intdate[0], intdate[1], intdate[2]) - timedelta(hours=8)
date2 = datetime(intdate[0], intdate[1], intdate[2]) + timedelta(hours=16)
db.arcSceneRuleDetail.aggregate([
{'$match':
{'addTime': {"$gte": date1,
"$lt": date2}
}
},
...
])
# 或者
db.arcSceneRuleDetail.aggregate([
{'$match':
{'addTime': {"$gte": datetime(2019, 6, 5, 16, 0),
"$lt": datetime(2019, 6, 6, 16, 0)}
}
},
...
])