MongoDB的备份和部署高级功能索引，聚合复制，分片

创建备份

MongoDB 数据转储

为了在 MongoDB 中创建数据库备份，需要使用 mongodump 命令。该命令会将服务器上的所有数据都转储到 dump 目录中。你可以使用很多选项来限制转储的数据量，或者创建远程服务器备份。

格式

mongodump 命令的基本语法格式为：

>mongodump

范例

开启 mongod 服务器。假设 mongod 服务器运行在 localhost 上，端口为 27017。在命令行上输入命令，在 MongoDB 实例的 bin 目录下输入 mongodump 命令。

假设 mycol 集合包含如下数据：

>mongodump

上述命令会连接在 127.0.0.1 运行的服务器（端口为 27017），将所有数据备份到 /bin/dump 上。命令输出结果如下图所示：

mongodump 命令其实包含很多选项。

语法格式	描述	范例
`mongodump --host HOST_NAME --port PORT_NUMBER`	该命令将指定 mongod 实例上的所有数据库都进行了备份	`mongodump --host tutorialspoint.com --port 27017`
`mongodump --dbpath DB_PATH --out BACKUP_DIRECTORY`	-	`mongodump --dbpath /data/db/ --out /data/backup/`
`mongodump --collection COLLECTION --db DB_NAME`	该命令只备份那些指定路径上的指定数据库	`mongodump --collection mycol --db test`

重新恢复数据

恢复备份数据使用 mongorestore 命令，该命令将备份目录中的所有数据给予恢复。

语法格式

mongorestore 命令的基本语法格式为：

> mongorestore

该命令输入结果如下图所示：

部署

在准备一个 MongoDB 部署时，应该先了解一下应用是如何在生产环境中运行的。使用一个持久性可重复的策略来管理部署环境无疑是很有用的，它将减少你在生产环境中遇到意外麻烦的可能性。

最佳的策略应包括以下几点：规划设置原型，执行负载测试，监控关键参数，并使用该信息来扩展设置。关键在于积极监控整个系统，这能有助于了解生产系统在部署前的运作方式，确定该在何处添加功能。例如，意识到了内存使用中的潜在峰值，就有可能及时地防止写锁定情况的出现。

为了监控部署，MongoDB 提供了多种命令。

mongostat

该命令检查所有运行中的 mongod 实例的状态，返回数据库操作的统计结果。这些统计命令包括插入数、查询数、更新数、删除数以及游标的操作等。有些命令还能显示碰到页面错误的时间，以及写锁的时间百分比。这意味着你遇到一些问题：内存低，写入及性能上出现了一些问题。

先运行 mongod 实例，然后在另一个命令行提示符中输入命令，在 mongodb 安装目录的 bin 目录下输入mongostat。

D:\set up\mongodb\bin>mongostat

该命令输出结果如下：

mongotop

该命令能够记录并报告 MongoDB 实例基于每个集合的读写活动。mongotop 默认每秒返回一次结果，但我们可以修改间隔时间。你应该检查读写活动是否符合应用预期状态。理想情况下，不应该出现对数据库进行过多的写操作，过于频繁地读取磁盘，或者超出了工作集的容量等情况。

先运行 mongod 实例，然后在另一个命令行提示符中输入命令，在 mongodb 安装目录的 bin 目录下输入mongotop。

D:\set up\mongodb\bin>mongotop

该命令输出结果如下所示：

要想使 mongotop 命令返回信息的间隔时间变长，可以在 mongotop 命令的后面指定一个数字。

D:\set up\mongodb\bin>mongotop 30

上述命令表示每 30 秒返回数值。

除了 mongodb 工具之外，10gen 还提供了免费的托管监控服务：MongoDB Management Service（MMS）。通过它所提供的仪表板，你可以查看整个集群的各个参数。

索引

索引能够实现高效地查询。没有索引，MongoDB 就必须扫描集合中的所有文档，才能找到匹配查询语句的文档。这种扫描毫无效率可言，需要处理大量的数据。

索引是一种特殊的数据结构，将一小块数据集保存为容易遍历的形式。索引能够存储某种特殊字段或字段集的值，并按照索引指定的方式将字段值进行排序。

ensureIndex() 方法

要想创建索引，需要使用 MongoDB 的 ensureIndex() 方法。

语法格式

ensureIndex() 方法的基本语法格式为：

>db.COLLECTION_NAME.ensureIndex({KEY:1})

这里的 key 是想创建索引的字段名称，1 代表按升序排列字段值。-1 代表按降序排列。

范例

>db.mycol.ensureIndex({"title":1})
>

可以为 ensureIndex() 方法传入多个字段，从而为多个字段创建索引。

>db.mycol.ensureIndex({"title":1,"description":-1})
>

ensureIndex() 方法也可以接受一些可选参数，如下所示：

参数	类型	描述
`background`	布尔值	在后台构建索引，从而不干扰数据库的其他活动。取值为 `true` 时，代表在后台构建索引。默认值为 `false`
`unique`	布尔值	创建一个唯一的索引，从而当索引键匹配了索引中一个已存在值时，集合不接受文档的插入。取值为 `true` 代表创建唯一性索引。默认值为`false`。
`name`	字符串	索引名称。如果未指定，MongoDB 会结合索引字段名称和排序序号，生成一个索引名称。
`dropDups`	布尔值	在可能有重复的字段内创建唯一性索引。MongoDB 只在某个键第一次出现时进行索引，去除该键后续出现时的所有文档。
`sparse`	布尔值	如果为 true，索引只引用带有指定字段的文档。这些索引占据的空间较小，但在一些情况下的表现也不同（特别是排序）。默认值为 `false`。
`expireAfterSeconds`	整型值	指定一个秒数值，作为 TTL 来控制 MongoDB 保持集合中文档的时间。
`v`	索引版本	索引版本号。默认的索引版本跟创建索引时运行的 MongoDB 版本号有关。
`weights`	文档	数值，范围从 1 到 99, 999。表示就字段相对于其他索引字段的重要性。
`default_language`	字符串	对文本索引而言，用于确定停止词列表，以及词干分析器（stemmer）与断词器（tokenizer）的规则。默认值为 english。
`language_override`	字符串	对文本索引而言，指定了文档所包含的字段名，该语言将覆盖默认语言。默认值为 language。

聚合

聚合操作能够处理数据记录并返回计算结果。聚合操作能将多个文档中的值组合起来，对成组数据执行各种操作，返回单一的结果。它相当于 SQL 中的 count(*) 组合 group by。

aggregate() 方法

对于 MongoDB 中的聚合操作，应该使用 aggregate() 方法。

语法格式

aggregate() 方法中的基本格式如下所示：

>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

范例

假如某个集合包含下列数据：

{
   _id: ObjectId(7df78ad8902c)
   title: 'MongoDB Overview', 
   description: 'MongoDB is no sql database',
   by_user: 'tutorials point',
   url: 'http://www.tutorialspoint.com',
   tags: ['mongodb', 'database', 'NoSQL'],
   likes: 100
},
{
   _id: ObjectId(7df78ad8902d)
   title: 'NoSQL Overview', 
   description: 'No sql database is very fast',
   by_user: 'tutorials point',
   url: 'http://www.tutorialspoint.com',
   tags: ['mongodb', 'database', 'NoSQL'],
   likes: 10
},
{
   _id: ObjectId(7df78ad8902e)
   title: 'Neo4j Overview', 
   description: 'Neo4j is no sql database',
   by_user: 'Neo4j',
   url: 'http://www.neo4j.com',
   tags: ['neo4j', 'database', 'NoSQL'],
   likes: 750
},

假如想从上述集合中，归纳出一个列表，以显示每个用户写的教程数量，需要像下面这样使用 aggregate() 方法：

> db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}])
{
   "result" : [
      {
         "_id" : "tutorials point",
         "num_tutorial" : 2
      },
      {
         "_id" : "Neo4j",
         "num_tutorial" : 1
      }
   ],
   "ok" : 1
}
>

假如用 SQL 来处理上述查询，则需要使用这样的命令：select by_user, count(*) from mycol group by by_user。

上例使用 by_user 字段来组合文档，每遇到一次 by_user，就递增之前的合计值。下面是聚合表达式列表。

表达式	描述	范例
`$sum`	对集合中所有文档的定义值进行加和操作	`db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}])`
`$avg`	对集合中所有文档的定义值进行平均值	`db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}])`
`$min`	计算集合中所有文档的对应值中的最小值	`db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}])`
`$max`	计算集合中所有文档的对应值中的最大值	`db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}])`
`$push`	将值插入到一个结果文档的数组中	`db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}])`
`$addToSet`	将值插入到一个结果文档的数组中，但不进行复制	`db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}])`
`$first`	根据成组方式，从源文档中获取第一个文档。但只有对之前应用过 `$sort`管道操作符的结果才有意义。	`db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}])`
`$last`	根据成组方式，从源文档中获取最后一个文档。但只有对之前进行过 `$sort`管道操作符的结果才有意义。	`db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}])`

管道的概念

在 UNIX 命令 Shell 中，管道（pipeline）概念指的是能够在一些输入上执行一个操作，然后将输出结果用作下一个命令的输入。MongoDB 的聚合架构也支持这种概念。管道中有很多阶段（stage），在每一阶段中，管道操作符都会将一组文档作为输入，产生一个结果文档（或者管道终点所得到的最终 JSON 格式的文档），然后再将其用在下一阶段。

聚合架构中可能采取的管道操作符有：

$project 用来选取集合中一些特定字段。
$match 过滤操作。减少用作下一阶段输入的文档的数量。
$group 如上所述，执行真正的聚合操作。
$sort 对文档进行排序。
$skip 在一组文档中，跳过指定数量的文档。
$limit 将查看文档的数目限制为从当前位置处开始的指定数目。
$unwind 解开使用数组的文档。当使用数组时，数据处于预连接状态，通过该操作，数据重新回归为各个单独的文档的状态。利用该阶段性操作可增加下一阶段性操作的文档数量。

复制

复制是一种在多个服务器上同步数据的过程。通过在不同的数据库服务器上实现多个数据副本，复制能够实现数据冗余，提高数据的可用性，从而避免了仅仅因为一台服务器故障后就会产生的数据库灾难。总之，复制可以使你免受硬件故障与服务中断的影响，及时恢复数据。由于数据有多个副本，所以可以将其中一个副本用于灾难恢复、报告或备份。

为什么需要复制

保持数据安全
保证数据的高可用性（24 小时 × 7 天，全年无休）
灾难恢复
无需停机维护（比如进行备份、索引重建，压缩等任务）
读取的可扩展性（可读取其他副本）
副本集对应用的公开性

复制在 MongoDB 中的运作方式

MongoDB 使用副本集（replica set）来实现复制操作。副本集是一组托管同一数据集的 mongod 对象。在副本集中，主节点负责接收写入操作。所有其他的实例（从节点）则通过执行主节点的操作来拥有同样的数据集。副本集中只有一个主节点。

副本集具有 2 个或多个节点（但一般最少需要 3 个节点）。
副本集只有一个主节点，其他全是从节点。
所有数据都是从主节点复制到从节点上的。
当发生自动故障转移或维护时，会重新推举一个新的主节点。
当失败节点恢复后，该节点重新又连接到副本集中，重新作为从节点。

下图展示了一个典型的 MongoDB 复制图。客户端应用总是跟主节点交互，主节点将数据复制到从节点上。

副本集特点

具有 N 个节点的集群
任何节点都可能成为主节点
所有写入操作必须由主节点来完成
自动故障转移
自动故障恢复
重新推举主节点

建立副本集

在本教程中，我们将把单独的一个 mongod 实例转变为副本集，步骤如下：

关闭正在运行的 MongoDB 服务器。
指定 --replSet 选项来开启 MongoDB 服务器。--replSet 的基本格式如下：

mongod --port "PORT" --dbpath "YOUR_DB_DATA_PATH" --replSet "REPLICA_SET_INSTANCE_NAME"

范例

mongod --port 27017 --dbpath "D:\set up\mongodb\data" --replSet rs0

该命令会在端口 27017 处启动一个名为 rs0 的 MongoDB 实例。在命令行提示符上输入命令连接到该 MongoDB 对象上。在 MongoDB 客户端使用 rs.initiate() 命令来初始化一个新的副本集。检查该副本集设置，则需使用rs.conf()。检查副本集状态使用 rs.status()。

为副本集添加成员

为了向副本集添加成员，在多台机器上开启多个 MongoDB 实例。开启一个 MongoDB 客户端，然后使用 rs.add() 命令。

语法格式

基本的 rs.add() 命令语法格式如下所示：

>rs.add(HOST_NAME:PORT)

范例

假设 MongoDB 实例名称为 mongodb1.net，且运行在 27017 端口处。为了将该实例添加到副本集中，请在 MongoDB 客户端中使用 rs.add()。

>rs.add("mongod1.net:27017")
>

只有当连接到主节点上时，才能向副本集中添加 MongoDB 实例。要想查看是否连接的是主节点，请在 MongoDB 客户端上使用 db.isMaster() 命令。

分片

分片是一种在多台机器上存储数据记录的操作，它是 MongoDB 为应对数据增长需求而采取的办法。当数据量增长时，单台机器有可能无法存储数据或可接受的读取写入吞吐量。通过横向扩展，分片技术解决了这个问题。利用分片技术，我们可以添加更多的机器来应对数据量增加以及读写操作的要求。

为何要分片

将所有的写入操作复制到主节点
对延迟敏感的查询将在主节点上完成
单个副本集的节点数限制为 12 个
当活跃数据集过大时，内存有可能不够
本地磁盘空间不足
纵向扩展太过昂贵

MongoDB 中的分片

下图展示了 MongoDB 使用分片集群的情形：

在上图中，有三个组件值得说明：

分片分片用来存储数据。它们提供了高可用性与数据一致性。在生产环境中，每个分片都是一个独立的副本集。
配置服务器配置服务器（Config server）保存着集群的元数据。该数据含有集群数据集到分片的映射关系。查询路由使用该元数据来定位特定分片的操作。在生产环境中，分片集群具有 3 个配置服务器。
查询路由查询路由（Query Router）基本上就是 mongos 实例，是客户端的接口，直接操作适当的分片。查询路由定位并处理对分片的操作，并将结果返回至客户端。分片集群可能含有多个查询路由，以便分散客户端请求负载。一个客户端请求对应着一个查询路由。通常一个分片集群可能有很多查询路由。

posted on 2016-12-16 16:38 王守昌阅读(1642) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

Keven King

MongoDB的备份和部署高级功能索引，聚合复制，分片

创建备份

MongoDB 数据转储

格式

范例

重新恢复数据

语法格式

部署

mongostat

mongotop

索引

ensureIndex() 方法

语法格式

范例

聚合

aggregate() 方法

语法格式

范例

管道的概念

复制

为什么需要复制

复制在 MongoDB 中的运作方式

副本集特点

建立副本集

范例

为副本集添加成员

语法格式

范例

分片

为何要分片

MongoDB 中的分片

导航

公告

Keven King

MongoDB的备份和部署 高级功能索引，聚合复制，分片

创建备份

MongoDB 数据转储

格式

范例

重新恢复数据

语法格式

部署

mongostat

mongotop

索引

ensureIndex() 方法

语法格式

范例

聚合

aggregate() 方法

语法格式

范例

管道的概念

复制

为什么需要复制

复制在 MongoDB 中的运作方式

副本集特点

建立副本集

范例

为副本集添加成员

语法格式

范例

分片

为何要分片

MongoDB 中的分片

导航

公告

MongoDB的备份和部署高级功能索引，聚合复制，分片