MongoDB权威指南（4）- Indexing

Note:mongoDB的索引的工作方式和关系数据库中的索引几乎是一样的。

1.索引简介

假设我们要按单个key查询，如下：

> db.people.find({"username" : "mark"})

对单个的key进行查询的时候，我们可以在这个key上建立索引来提高查询速度。使用ensureIndex方法建立索引如下：

> db.people.ensureIndex({"username" : 1})

一个索引只需创建一次，重复创建相同的索引没有任何效果。

一个key上建立的索引会使对这个key的查询速度提高，除此之外就没有效果了，即使是查询包含这个key，如：

> db.people.find({"date" : date1}).sort({"date" : 1, "username" : 1})

这个查询里，服务器必须遍历整个collction来找到日期符合的记录，这个过程叫做table scan（全表扫描），一般情况下你都会尽量避免

table scan，因为它对大型的collection运行非常缓慢。作为一条经验规则，你需要给它创建一个索引，包含了查询中用到的所有key的一个索引。

> db.ensureIndex({"date" : 1, "username" : 1})

传递给ensureIndex方法的document参数和sort方法的参数是一样的，它是一组key/value对，值可能是1或-1，代表索引进行的方向。

如果索引里只有一个key，方向就无所谓了，如果索引里有多个key，那么你就得考虑索引的方向问题。假设我们有下边的一些用户：

{ "_id" : ..., "username" : "smith", "age" : 48, "user_id" : 0 }
{ "_id" : ..., "username" : "smith", "age" : 30, "user_id" : 1 }
{ "_id" : ..., "username" : "john", "age" : 36, "user_id" : 2 }
{ "_id" : ..., "username" : "john", "age" : 18, "user_id" : 3 }
{ "_id" : ..., "username" : "joe", "age" : 36, "user_id" : 4 }
{ "_id" : ..., "username" : "john", "age" : 7, "user_id" : 5 }
{ "_id" : ..., "username" : "simon", "age" : 3, "user_id" : 6 }
{ "_id" : ..., "username" : "joe", "age" : 27, "user_id" : 7 }
{ "_id" : ..., "username" : "jacob", "age" : 17, "user_id" : 8 }
{ "_id" : ..., "username" : "sally", "age" : 52, "user_id" : 9 }
{ "_id" : ..., "username" : "simon", "age" : 59, "user_id" : 10 }

如果我们建立索引{"username" : 1, "age" : -1}，mongoDB就会按下边的样子组织用户：

{ "_id" : ..., "username" : "jacob", "age" : 17, "user_id" : 8 }
{ "_id" : ..., "username" : "joe", "age" : 36, "user_id" : 4 }
{ "_id" : ..., "username" : "joe", "age" : 27, "user_id" : 7 }
{ "_id" : ..., "username" : "john", "age" : 36, "user_id" : 2 }
{ "_id" : ..., "username" : "john", "age" : 18, "user_id" : 3 }
{ "_id" : ..., "username" : "john", "age" : 7, "user_id" : 5 }
{ "_id" : ..., "username" : "sally", "age" : 52, "user_id" : 9 }
{ "_id" : ..., "username" : "simon", "age" : 59, "user_id" : 10 }
{ "_id" : ..., "username" : "simon", "age" : 3, "user_id" : 6 }
{ "_id" : ..., "username" : "smith", "age" : 48, "user_id" : 0 }
{ "_id" : ..., "username" : "smith", "age" : 30, "user_id" : 1 }

首先按名字的升序排列，名字相同的组里按降序排列。这索引会优化按{"username" : 1, "age" :-1}的排序操作，而对{"username" : 1, "age" : 1}

的排序效果就没那么好了，如果我们想优化{"username" : 1, "age" : 1}，那就应该按{"username" : 1, "age" : 1}来建立索引，让年龄也升序排列。

对username和age建立的索引同时也会是对username的查询速度提高，通常，如果索引有N个key组成，对其中前边部分的查询速度也会提高。

例如，我们建立了索引{"a" : 1, "b" : 1, "c" : 1, ..., "z" : 1},那么效果上相当于我们也有了{"a" : 1}, {"a" : 1, "b" : 1}, {"a" : 1, "b" : 1, "c" :1}等等。

mongoDB的查询优化器会调整查询条件之间的顺序以利用索引，比如说你要查询{"x" : "foo", "y" : "bar"}，而你的索引是{"y" : 1, "x" :1}，优化器会自行调整。

索引的不利之处是给插入、更新、删除操作增添了一些负担。

在某些情况下，使用索引也许还不如不用索引。通常，如果查询返回collection里一半甚至更多的记录，那么相比为几乎每个document查找索引及其值，直接使用

全表扫描还更快些。

索引度量？ （Scaling Index）

假设我们有个collection存储用户的状态消息，我们想按用户查询每个用户的最新状态，根据我们学到的知识，我们可能会这样建立索引：

> db.status.ensureIndex({user : 1, date : -1})

这个索引会使对user和date的查询速度提高，但实际上并不是最好的选择。按照这个索引，我们的数据可能是下边这个样子：

User 123 on March 13, 2010
User 123 on March 12, 2010
User 123 on March 11, 2010
User 123 on March 5, 2010
User 123 on March 4, 2010
User 124 on March 12, 2010
User 124 on March 11, 2010
...

如果只是这个数据规模，这样子看起来还是不错的，如果程序里有百万千万的用户，每个用户每天都会产生几十条状态更新呢？

如果每个用户的状态消息的索引记录都占用了磁盘空间一页的大小，那么每次进行最新状态查询时，数据都不得不加载另外一个页面进内存。

要是我们使用{date : -1, user : 1}做索引，那么数据库就可以将最近几天的索引保持在内存里，会有更少的页面对换，查询最新状态

也会更快。

对嵌入document的key建立索引

> db.blog.ensureIndex({"comments.date" : 1})

对嵌入的document建立索引和对顶级document建立索引没有差别，两者在组合索引里也可以组合使用。

为排序建立索引

如果对一个未建立索引的key调用sort方法，mongoDB需要取出所有的数据，放入内存然后排序，所以这个大小是有限制的，

如果collection太大，mongoDB就会返回一个错误。建立索引可以避免这个问题，使你可以对任意数量的数据进行排序而不会耗尽内存。

2.唯一索引 

唯一索引保证对于指定的key，collection里每个document中其值都是唯一的。如，要保证用户名都不重复：

> db.people.ensureIndex({"username" : 1}, {"unique" : true})

Note：如果key不存在，索引就会将其值存储为null，如果要再插入一个不含此key的document，插入就会失败，因为已经有了一个

值为null的document。

删除重复

对已有的collection建立唯一索引时，里边也许已经有了重复的值，这会导致索引建立失败，如果你想删掉具有重复值的document，

可以使用dropDups选项，遇到的第一个document被保留，其他的都被删除掉了。

> db.people.ensureIndex({"username" : 1}, {"unique" : true, "dropDups" : true})

组合唯一索引

组合唯一索引里的单个key的值可以是重复的，但是所有key的组合必须是唯一的。

3.使用explain和hint

> db.foo.find().explain()

explain方法返回一个document而不是游标本身，这个document包含了用到的索引、统计信息等。

举个例子，对一个无索引的collection执行一个最简单的查询({}),返回64个document，那么explain的输出为

> db.people.find().explain()
{
　　"cursor" : "BasicCursor",
　　"indexBounds" : [ ],
　　"nscanned" : 64,
　　"nscannedObjects" : 64,
　　"n" : 64,
　　"millis" : 0,
　　"allPlans" : [
　　{
　　　　"cursor" : "BasicCursor",
　　　　"indexBounds" : [ ]
　　}
　　]

}
  • "cursor" : "BasicCursor"
意思是查询没有使用索引
  • "nscanned" : 64
    数据库扫描过的document数量
  • "n" : 64
    返回的结果集的document数量
  • "millis" : 0
    数据库执行查询消耗的毫秒数

现在我们看个稍微复杂点的例子，假设我们在age键上建立了索引，我们要查询年龄为20多岁的用户。

> db.c.find({age : {$gt : 20, $lt : 30}}).explain()
{
　　"cursor" : "BtreeCursor age_1",
　　"indexBounds" : [
　　　　[{"age" : 20},{"age" : 30}]
　　],
　　"nscanned" : 14,
　　"nscannedObjects" : 12,
　　"n" : 12,
　　"millis" : 1,
　　"allPlans" : [
　　　　{
　　　　"cursor" : "BtreeCursor age_1",
　　　　"indexBounds" : [
　　　　　　[{"age" : 20},{"age" : 30}]
　　　　]
　　}
　　]
}
  • "cursor" : "BtreeCursor age_1"
这次不是BasicCursor了，索引是存储在B-Tree的数据结构里，这个查询使用了索引，它是使用了B-Tree类型的游标。
age_1是索引的名字，有了这个名字我们就可以查询system.indexes collection,获取关于此索引的更多信息。
    > db.system.indexes.find({"ns" : "test.c", "name" : "age_1"})
    {
    　　"_id" : ObjectId("4c0d211478b4eaaf7fb28565"),
    　　"ns" : "test.c",
    　　"key" : {
    　　　　"age" : 1
    　　},
    　　"name" : "age_1"
    }
  • "allPlans" : [ ... ]
    列出了此查询可用的所有的计划。如果我们有多个索引和更加复杂的查询，"allPlans"就会包含所有可能的计划。

让我们看个更复杂点的查询例子，假设我们有一个索引{"username" : 1, "age" : 1}和一个索引{"age" : 1, "username" : 1}，那么当我们

查询username和age的时候会发生什么事？实际上这样要依赖于查询。

> db.c.find({age : {$gt : 10}, username : "sally"}).explain()
{
　　"cursor" : "BtreeCursor username_1_age_1",
　　"indexBounds" : [
　　　　[
　　　　　　{
　　　　　　　　"username" : "sally",
　　　　　　　　"age" : 10
　　　　　　},
　　　　　　{
　　　　　　　　"username" : "sally",
　　　　　　　　"age" : 1.7976931348623157e+308
　　　　　　}
　　　　]
　　],
　　"nscanned" : 13,
　　"nscannedObjects" : 13,
　　"n" : 13,
　　"millis" : 5,
　　"allPlans" : [
　　　　{
　　　　　　"cursor" : "BtreeCursor username_1_age_1",
　　　　　　"indexBounds" : [
　　　　　　　　[
　　　　　　　　　　{
　　　　　　　　　　　　"username" : "sally",
　　　　　　　　　　　　"age" : 10
　　　　　　　　　　},
　　　　　　　　　　{
　　　　　　　　　　　　"username" : "sally",
　　　　　　　　　　　　"age" : 1.7976931348623157e+308
　　　　　　　　　　}
　　　　　　　　]
　　　　　　]
　　　　}
　　],
　　"oldPlan" : {
　　　　"cursor" : "BtreeCursor username_1_age_1",
　　　　"indexBounds" : [
　　　　　　[
　　　　　　　　{
　　　　　　　　　　"username" : "sally",
　　　　　　　　　　"age" : 10
　　　　　　　　},
　　　　　　　　{
　　　　　　　　　　"username" : "sally",
　　　　　　　　　　"age" : 1.7976931348623157e+308
　　　　　　　　}
　　　　　　]
　　　　]
　　}
}

由于当我们查询的是一个确定的username值和一个age范围值，所以数据库使用的是{"username" : 1, "age" : 1}这个索引，

反过来，如果我们查询的是一个确定的年龄和名字范围，那么数据库就会使用另外的那个索引

> db.c.find({"age" : 14, "username" : /.*/}).explain()
{
　　"cursor" : "BtreeCursor age_1_username_1 multi",
　　"indexBounds" : [
　　　　[
　　　　　　{
　　　　　　　　"age" : 14,
　　　　　　　　"username" : ""
　　　　　　},
　　　　　　{
　　　　　　　　"age" : 14,
　　　　　　　　"username" : {
　　　　　　　　}
　　　　　　}
　　　　],
　　　　[
　　　　　　{
　　　　　　　　"age" : 14,
　　　　　　　　"username" : /.*/
　　　　　　},
　　　　　　{
　　　　　　　　"age" : 14,
　　　　　　　　"username" : /.*/
　　　　　　}
　　　　]
　　],
　　"nscanned" : 2,
　　"nscannedObjects" : 2,
　　"n" : 2,
　　"millis" : 2,
　　"allPlans" : [
　　　　{
　　　　　　"cursor" : "BtreeCursor age_1_username_1 multi",
　　　　　　"indexBounds" : [
　　　　　　　　[
　　　　　　　　　　{
　　　　　　　　　　　　"age" : 14,
　　　　　　　　　　　　"username" : ""
　　　　　　　　　　},
　　　　　　　　　　{
　　　　　　　　　　　　"age" : 14,
　　　　　　　　　　　　"username" : {
　　　　　　　　　　　　}
　　　　　　　　　　}
　　　　　　　　],
　　　　　　　　[
　　　　　　　　　　{
　　　　　　　　　　　　"age" : 14,
　　　　　　　　　　　　"username" : /.*/
　　　　　　　　　　},
　　　　　　　　　　{
　　　　　　　　　　　　"age" : 14,
　　　　　　　　　　　　"username" : /.*/
　　　　　　　　　　}
　　　　　　　　]
　　　　　　]
　　　　}
　　]
}

如果你发现数据库使用的不是你想用的索引，那么你可以使用hint强制数据库使用你指定的索引。

> db.c.find({"age" : 14, "username" : /.*/}).hint({"username" : 1, "age" : 1})

指定索引通常是没有必要的，mongoDB有自己的查询优化器，会很聪明地选择使用哪个索引，你只需要关心的是优化器有可用的索引以备选择。

4.索引管理

每个database都有个叫system.indexes的collection，它里边存储了索引的元数据信息，这个collection是保留的，不能进行插入或删除，

只能通过ensureIndex和dropIndexes命令来操作里边的document。system.indexes里包含了每个索引的详细信息，另外还有个叫

system.namespaces的collection列出了索引的名字。查看这collection可以看到，每个collection至少有两条记录，一个是collection本身，

另外的是collection里的每个索引。

建立索引是个耗时耗资源的操作，如果collection的数据量很大，你可以指定background选项来在后台进行工作。

> db.people.ensureIndex({"username" : 1}, {"background" : true})

如果没有使用background选项的话，database就会阻塞所有的请求，知道索引建立完成。

如果你不在需要某个索引，你可以用dropIndexes命令移除它，你可能得先在system.indexes里找到索引的名字，因为各种驱动自动生成

的索引名字各不一样。

> db.runCommand({"dropIndexes" : "foo", "index" : "alphabet"})

使用*删除collection的所有的索引

> db.runCommand({"dropIndexes" : "foo", "index" : "*"})

5.地理空间索引

在ensureIndex方法中使用"2d"做参数而不是1或者-1，建立空间索引

> db.map.ensureIndex({"gps" : "2d"})

gps这个key的值必须是某种成对的值，一个包含两个元素的数组，或者一个有两个key的嵌入的document，下边的例子都是可以的

{ "gps" : [ 0, 100 ] }
{ "gps" : { "x" : -30, "y" : 30 } }
{ "gps" : { "latitude" : -180, "longitude" : 180 } }

嵌入的document里边key的名字是任意的，它们的值缺省是从-180到180，方便使用经纬度，如果你要使用其他的单位，可以指定

最大值和最小值

> db.star.trek.ensureIndex({"light-years" : "2d"}, {"min" : -1000, "max" : 1000})

地理空间索引可以通过两种方式来使用，一是普通的find查询，另外是作为数据库命令。

 > db.map.find({"gps" : {"$near" : [40, -73]}}).limit(10)

和下边的使用geoNear命令进行的查询等价

> db.runCommand({geoNear : "map", near : [40, -73], num : 10});

mongoDB还允许你使用一个shape来查找document，为了查找shape里所有的点，我们可以使用"$within"条件操作符，使用"$box"

定义一个矩形

> db.map.find({"gps" : {"$within" : {"$box" : [[10, 20], [15, 30]]}}})

"$box"的值是含两个元素的数组，第一个是左边的Y值小的顶点，第二个是右边的Y值大的顶点。（大概就是这个意思，因为一般地理坐标系统

中，Y轴是向上的，而我们的屏幕坐标中，原点在左上角，Y轴是向下的，数据库里仅仅是数据）

同样，你也可以找到一个圆里边的所有点，$center的第一个元素是圆心，第二个元素是半径

> db.map.find({"gps" : {"$within" : {"$center" : [[12, 25], 5]}}})

组合空间索引

> db.ensureIndex({"location" : "2d", "desc" : 1})

如果你要查询最近的咖啡馆

> db.map.find({"location" : {"$near" : [-70, 30]}, "desc" : "coffeeshop"}).limit(1)
{
　　"_id" : ObjectId("4c0d1348928a815a720a0000"),
　　"name" : "Mud",
　　"location" : [x, y],
　　"desc" : ["coffee", "coffeeshop", "muffins", "espresso"]
}


posted @ 2011-11-02 14:03  javawebsoa  Views(210)  Comments(0)  Edit  收藏  举报