mongodb查询操作分析
背景
mongodb 提供了类sql的数据查询及操作方式，同时也包含了聚合操作、索引等多个机制；
按以往的经验，不当的库表操作或索引模式往往会造成许多问题，如查询操作缓慢、数据库吞吐量低下、CPU或磁盘IO飙升等问题。
因此在应用开发过程中，有必要对DB操作进行审视，尤其是关键业务或复杂条件查询。mongodb 提供了explain方法可以让我们
对 DB查询语句进行分析，提前分析潜在的瓶颈。
查询计划
mongodb 通过查询计划(QueryPlan)描述一个查询语句的执行过程，而通常一个查询操作可能对应多组查询计划。
这些查询计划通过选举机制产生最优计划，作为最终的执行方案。此外mongodb 还提供了查询计划的缓存机制，如下图：
图 https://docs.mongodb.com/manual/_images/query-planner-diagram.bakedsvg.sv
Diagram of query planner logic
查询操作被映射到一个查询模型(query shape)，模型中会包含条件(predicate)、排序(sort)、投影(projection)的定义；
以查询模型作为Key查找已存在的Plan缓存，在找到缓存的下一步仍进一步评估查询性能，若性能评估结果未达标，则 mongodb会淘汰缓存并进入查询计划生成阶段。
每一个计划生成阶段都会包含：
- 产生候选计划；
- 评估优选计划；
- 竞选最优计划；
- 创建缓存；
在产生最优计划之后，查询执行器将执行当前计划并产生最终结果。
explain 操作
通过下面的语句，可以对当前查询计划展开分析
db.T_FooData.find({
"appId":"s5WrMmrJV_8RBJG17FSVoY995Kga",
"nodeType":"SENSOR",
"creationTime":{
$gte : ISODate("2017-08-08T10:34:33.125Z"),
$lt : ISODate("2017-08-08T12:34:33.125Z")
}
}).explain("executionStats")
输出结果
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "db.T_FooData",
"indexFilterSet" : false,
"parsedQuery" : {
"$and" : [
{
"appId" : {
"$eq" : "s5WrMmrJV_8RBJG17FSVoY995Kga"
}
},
{
"nodeType" : {
"$eq" : "SENSOR"
}
},
{
"creationTime" : {
"$lt" : ISODate("2017-08-08T12:34:33.125Z")
}
},
{
"creationTime" : {
"$gte" : ISODate("2017-08-08T10:34:33.125Z")
}
}
]
},
"winningPlan" : { ... },
"rejectedPlans" : [ ... ],
},
"executionStats" : {
"executionSuccess" : true,
"nReturned" : 62848,
"executionTimeMillis" : 3058,
"totalKeysExamined" : 1510833,
"totalDocsExamined" : 1510833,
"executionStages" : { ... }
},
"serverInfo" : {
"host" : "NB3000W_MongoDB_01",
"port" : 50001,
"version" : "3.4.7",
"gitVersion" : "4249c1d2b5999ebbf1fdf3bc0e0e3b3ff5c0aaf2"
},
"ok" : 1,
"$gleStats" : {
"lastOpTime" : Timestamp(1504498101, 1),
"electionId" : ObjectId("7fffffff0000000000000001")
}
}
结果说明
-
queryPlanner 描述当前的查询计划；
-
queryPlanner.namespace 描述当前的集合命名空间，{db}.
-
queryPlanner.indexFilterSet 是否设置了indexFilter，Filter决定了查询优化器对于某个查询将如何使用索引
-
queryPlanner.parsedQuery 解析后的查询信息
-
queryPlanner.winningPlan 最优计划
-
queryPlanner.rejectPlans 拒绝的计划列表
-
executionStats 执行过程统计，捕获计划在执行过程中的相关信息
-
executionStats.executionSuccess 是否执行成功
-
executionStats.nReturned 返回条目数量
-
executionStats.executionTimeMilis 执行时间(ms)
-
executionStats.totalKeysExamined 索引检测条目
-
executionStats.totalDocsExamined 文档检测条目
-
executionStats.executionStages 执行阶段详情
explain 模式
mongodb 为 explain 操作提供了几种模式：
- queryPlanner 默认的模式，仅进行查询计划分析，无法输出执行过程统计；
- executionStats 执行模式，在查询计划分析后，将执行winningPlan并统计过程信息；
- allPlansExecution 全计划执行模式，将执行所有计划(包括rejectPlans)，并返回过程统计信息；
executionStats.allPlansExecution 包含了所有计划(除winningPlan之外)的执行过程统计信息
执行计划详解
执行计划将整个过程分解为多个阶段，阶段(stage)以树状结构组织，这点与执行过程是匹配的。
stage 分为多种类型，如下：
| 阶段 | 描述 |
|---|---|
| COLLSCAN | 全表扫描 |
| IXSCAN | 索引扫描 |
| FETCH | 根据索引去检索指定document |
| PROJECTION | 限定返回字段 |
| SHARD_MERGE | 将各个分片返回数据进行merge |
| SORT | 表明在内存中进行了排序 |
| LIMIT | 使用limit限制返回数 |
| SKIP | 使用skip进行跳过 |
| IDHACK | 针对_id进行查询 |
| SHARDING_FILTER | 通过mongos对分片数据进行查询 |
| COUNT | 利用db.coll.explain().count()之类进行count运算 |
| COUNTSCAN | count不使用用Index进行count |
| COUNT_SCAN | count使用了Index进行count |
| SUBPLA | 未使用到索引的$or查询 |
| TEXT | 使用全文索引进行查询 |
winningPlan 样例
"winningPlan" : {
"stage" : "FETCH",
"filter" : {
"$and" : [
{
"nodeType" : {
"$eq" : "GATEWAY"
}
},
{
"creationTime" : {
"$lt" : ISODate("2017-08-08T12:34:33.125Z")
}
},
{
"creationTime" : {
"$gte" : ISODate("2017-08-08T10:34:33.125Z")
}
}
]
},
"inputStage" : {
"stage" : "IXSCAN",
"keyPattern" : {
"appId" : 1
},
"indexName" : "appId",
"isMultiKey" : false,
"isUnique" : false,
"isSparse" : false,
"isPartial" : false,
"indexVersion" : 1,
"direction" : "forward",
"indexBounds" : {
"appId" : [
"[\"s5WrMmrJV_8RBJG17FSVoY995Kga\", \"s5WrMmrJV_8RBJG17FSVoY995Kga\"]"
]
}
}
},
字段说明
| 属性 | 描述 |
|---|---|
| winningPlan.stage | 最优计划stage，FETCH表示根据索引检索文档 |
| winningPlan.filter | 最优计划的过滤器，即查询条件 |
| winningPlan.inputStage | 最优计划stage的child stage |
| winningPlan.inputStage.stage | child stage,此处是IXSCAN，表示进行index scanning |
| winningPlan.inputStage.keyPattern | 扫描的索引模式 |
| winningPlan.inputStage.indexName | 选用索引名称 |
| winningPlan.inputStage.isMultiKey | 是否是Multikey，如果索引建立在array上则为true |
| winningPlan.inputStage.isSparse | 是否稀疏索引 |
| winningPlan.inputStage.isPartial | 是否分区索引 |
| winningPlan.inputStage.direction | 此query的查询顺序，此处是forward，如果用了.sort({w:-1})将显示backward |
| winningPlan.inputStage.indexBounds | 所扫描的索引范围 |
过程统计详解
executionStats 样例
"executionStats" : {
"executionSuccess" : true,
"nReturned" : 62848,
"executionTimeMillis" : 3058,
"totalKeysExamined" : 1510833,
"totalDocsExamined" : 1510833,
"executionStages" : {
"stage" : "FETCH",
"filter" : {
"$and" : [
{
"nodeType" : {
"$eq" : "GATEWAY"
}
},
{
"creationTime" : {
"$lt" : ISODate("2017-08-08T12:34:33.125Z")
}
},
{
"creationTime" : {
"$gte" : ISODate("2017-08-08T10:34:33.125Z")
}
}
]
},
"nReturned" : 62848,
"executionTimeMillisEstimate" : 2765,
"works" : 1510834,
"advanced" : 62848,
"needTime" : 1447985,
"needYield" : 0,
"saveState" : 11807,
"restoreState" : 11807,
"isEOF" : 1,
"invalidates" : 0,
"docsExamined" : 1510833,
"alreadyHasObj" : 0,
"inputStage" : {
"stage" : "IXSCAN",
"nReturned" : 1510833,
"executionTimeMillisEstimate" : 792,
"works" : 1510834,
"advanced" : 1510833,
"needTime" : 0,
"needYield" : 0,
"saveState" : 11807,
"restoreState" : 11807,
"isEOF" : 1,
"invalidates" : 0,
"keyPattern" : {
"appId" : 1
},
"indexName" : "appId",
"isMultiKey" : false,
"isUnique" : false,
"isSparse" : false,
"isPartial" : false,
"indexVersion" : 1,
"direction" : "forward",
"indexBounds" : {
"appId" : [
"[\"s5WrMmrJV_8RBJG17FSVoY995Kga\", \"s5WrMmrJV_8RBJG17FSVoY995Kga\"]"
]
},
"keysExamined" : 1510833,
"dupsTested" : 0,
"dupsDropped" : 0,
"seenInvalidated" : 0
}
}
}
字段说明
| 属性 | 描述 |
|---|---|
| executionStats.executionSuccess | 是否执行成功 |
| executionStats.nReturned | 返回条目数量 |
| executionStats.executionTimeMilis | 执行时间(ms) |
| executionStats.totalKeysExamined | 索引检测条目 |
| executionStats.totalDocsExamined | 文档检测条目 |
| executionStats.executionStages | 执行阶段详情，大部分字段继承于winningPlan.inputStage |
| executionStats.executionStages.stage | 执行阶段，FETCH表示根据索引获取文档 |
| executionStats.executionStages.nReturned | 阶段返回条目数量 |
| executionStats.executionStages.executionTimeMillisEstimate | 阶段执行时间 |
| executionStats.executionStages.docsExamined | 阶段中文档检测条目 |
| executionStats.executionStages.works | 阶段中扫描任务数 |
| executionStats.executionStages.advanced | 阶段中向上提交数量 |
| executionStats.executionStages.needTime | 阶段中定位索引位置所需次数 |
| executionStats.executionStages.needYield | 阶段中获取锁等待时间 |
| executionStats.executionStages.isEOF | 阶段中是否到达流的结束位，对于limit限制符的查询可能为0 |
| executionStats.executionStages.inputStage | 执行阶段的子阶段，这里是一个IXSCAN的子过程 |
参考文档
explain 官方说明
http://www.mongoing.com/eshu_explain1
https://docs.mongodb.com/manual/reference/explain-results/#explain-output
关于explain的几种模式
https://docs.mongodb.com/manual/reference/method/cursor.explain/
理解mongo 的查询行为
https://www.compose.com/articles/explain-explain-understanding-mongo-query-behavior/
mongo的查询缓存
https://docs.mongodb.com/manual/core/query-plans/#index-filters
作者： 美码师(zale)
出处： http://www.cnblogs.com/littleatp/, 如果喜欢我的文章，请关注我的公众号
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出 原文链接 如有问题， 可留言咨询.
