MongoDB 常用的数据备份梳理汇总

1.基于数据文件的备份

直接将原始的数据文件Copy至备份的地方，这个方法的优点是比较快，因为备份和恢复都不需要转换数据格式。缺点就是需要锁住数据库服务器，但是此方案通常备份是在从节点上进行，备份过程不影响应用的正常运行。

如果不锁住数据，经常会导致复制文件中断，另外就是保证数据文件的一致性状态。

主要命令：

加锁的命令--db.fsyncLock()

注意：锁之后的任何尝试写入都会被阻止，而且读操作也会被阻止。新的连接尝试也会被阻止。

解锁的命令--db.fsyncUnlock()

注意：这仅仅是个解锁请求，数据库可能无法正确解锁。运行db.currentOp方法可以验证数据库是否还处于锁状态。

2.mongodump

mongodump导出的是bson格式，是二进制形式。此工具对于恢复整个实例、单个数据库、指定集合都十分有用。他们可以用于备份实时运行的数据库（无需锁住或者关闭数据库）。

mongorestore用于读取恢复这些文件。

部分主要命令参数 如下：

 -h [ --host ]   --数据库所在主机IP地址；

–port           --mongodb使用的端口号；

-u [ --username ]--登陆用户名；

-p [ --password ] --用户的登陆密码；

-d [ --db ]  --准备备份的数据库；

-c [ --collection ] --准备备份的集合；

-o [ --out ] --导出数据将要保存在的目录；

-q [ --query ] --指定备份的查询条件；

–oplog --快照式备份，保证数据的时间一致性和完整性；

--authenticationDatabase --用户的登录验证数据库

--gzip --备份文件压缩

例子：

将端口为37017的MongoDB数据备份到 /opt/backup/mongodump-2011-10-24 路径下，登入验证需输入密码。

mongodump --host mongodb1.example.net --port 37017 --username user --password "pass" --out /opt/backup/mongodump-2011-10-24

 

3.mongoexport 

mongoexport命令行用于数据的导出，默认导出的文件格式为JSON格式，还支持csv格式。

部分主要命令参数 如下：

-h,--host ：代表远程连接的数据库地址，默认连接本地Mongo数据库；

--port：代表远程连接的数据库的端口，默认连接的远程端口27017；

-u,--username：代表连接远程数据库的账号，如果设置数据库的认证，需要指定用户账号；

-p,--password：代表连接数据库的账号对应的密码；

-d,--db：代表连接的数据库；

-c,--collection：代表连接数据库中的集合；

-f, --fields：代表集合中的字段，可以根据设置选择导出的字段；

--type：代表导出输出的文件类型，包括csv和json文件；

-o, --out：代表导出的文件名；

-q, --query：代表查询条件；

 

与mongodump相比，从功能上来讲，mongoexport可以细化到集合中的字段，可以根据需要只导出指定的字段。从文件格式上来看，不再是Bson格式的文件，而是直接可读的Json或CSV文件，容易被第三方程序读取利用。缺点就是备份性能减低了。

 

在开发的数据变更需求中，有时候 考虑到 数据的重要性和可溯性，部分需求会要求我们将数据临时备份到一个集合中，便于回滚和查询比较。这时候登录到服务器上，根据条件执行mongoexport 导出和 mongoimport 再次导入， 虽然可以实现备份的需求，但这有一个前提要求，就是有服务器登入和执行的权限，且过程还相对繁琐。如果MongodB部署在云上，上面mongoexport的备份方案就歇菜了，我们不能登入云库的物理机。此外，云上数据库虽然还可以还原实例，但代价相对较大。 

相信这时候，我们会不由自主的怀念 SQL Server / MySQL 的   insert into XXXX_bak  select * from XXXX。如果 MongoDB也有这种轻量级的备份该多好啊。

其实，在MongoDB的命令中，也有类似功能代码。在这里我们，我们讲解下Cursor游标和聚合框架的$out。

 

4.cursor.forEach()

Cursor，又称游标。

游标不是查询结果,可以理解为数据在遍历过程中的内部指针,其返回的是一个资源,或者说数据读取接口.客户端通过对游标进行一些设置就能对查询结果进行有效地控制，如可以限制查询得到的结果数量、跳过部分结果、或对结果集按任意键进行排序等。

db.collection.find()可以实现根据条件查询和指定使用投影运算符返回的字段（省略此参数返回匹配文档中的所有字段）。并返回到匹配文档的游标，可以随意修改查询限制、跳跃、和排序顺序的功能。

游标有一个重要的迭代函数---cursor.forEach(回调函数),允许我们自定义回调函数来逐个处理每个单元.

基本语法格式：

db.collection.find().forEach(<function>)

 

例如，我们需要修改集合QQOrder中创建时间为指定时间，状态为10的订单，因为订单数据不能轻易修改，除流程控制外，要求DBA在修改前备份一下。

以下代码是将符合条件的数据备份至QQOrder_bak集合中。

db.QQOrder.find(
{"Status" : "10",
"Rec_CreateTime" : {$gt:ISODate("2018-11-18T15:37:20.740+08:00"),$lt:ISODate("2018-11-20T15:37:20.740+08:00")}
}
).forEach(
    function(x){
      db.QQOrder_bak.insert(x)
   }
   )

 

5.聚合框架--$out

 我们知道在聚合框架中有一个步骤--$out,可以把管道的结果写入某个集合中（2.6版新增）。

使用$out操作符，可以自动把聚合管道的输出结果保存到集合里。如果集合不存在的话，则$out操作符将会创建一个集合，或者如果存在就会完全取代现有的集合。此外，如果创建新的集合失败的话，MongoDB不会修改之前的集合。

所以，针对上面的需求，使用下面的代码也可以实现。

（测试过程中，将上一个案例备份集合由QQOrder_bak替换成了QQOrder_bak_2）

db.QQOrder.aggregate([
{$match: {"Status" : "10","Rec_CreateTime" : {$gt:ISODate("2018-11-18T15:37:20.740+08:00"),$lt:ISODate("2018-11-20T15:37:20.740+08:00")}}},
{$out:'QQOrder_bak_2'}
])

需要特别注意的话，QQOrder_bak_2只可以临时存放数据，如果再次执行新的导出，会将集合中原来的数据覆盖掉。

 

以上五种备份，可以涵盖我们日常所有的备份需求了。包含 实例、库的日常灾备，也有业务需求的临时备份。

 

本文版权归作者所有，未经作者同意不得转载,谢谢配合！！！