mongoDB的基本操作以及数据的导入导出,备份和恢复

mongoDB的基本操作以及数据的导入导出,备份和恢复

 

基本概念与常用命令

为什么我们要使用MongoDB?

 

特点:

  • 高性能、易部署、易使用,存储数据非常方便。主要功能特性有:
  • 面向集合存储,易存储对象类型的数据。
  • 模式自由。
  • 支持动态查询。
  • 支持完全索引,包含内部对象。
  • 支持查询。
  • 支持复制和故障恢复。
  • 使用高效的二进制数据存储,包括大型对象(如视频等)。
  • 自动处理碎片,以支持云计算层次的扩展性
  • 支持Python,PHP,Ruby,Java,C,C#,Javascript,Perl及C++语言的驱动程序,社区中也提供了对Erlang及.NET等平台的驱动程序。
  • 文件存储格式为BSON(一种JSON的扩展)。
  • 可通过网络访问。

功能:

  • 面向集合的存储:适合存储对象及JSON形式的数据。
  • 动态查询:Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记,可轻易查询文档中内嵌的对象及数组。
  • 完整的索引支持:包括文档内嵌对象及数组。Mongo的查询优化器会分析查询表达式,并生成一个高效的查询计划。
  • 查询监视:Mongo包含一个监视工具用于分析数据库操作的性能。
  • 复制及自动故障转移:Mongo数据库支持服务器之间的数据复制,支持主-从模式及服务器之间的相互复制。复制的主要目标是提供冗余及自动故障转移。
  • 高效的传统存储方式:支持二进制数据及大型对象(如照片或图片)
  • 自动分片以支持云级别的伸缩性:自动分片功能支持水平的数据库集群,可动态添加额外的机器。

适用场合:

  • 网站数据:Mongo非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。
  • 缓存:由于性能很高,Mongo也适合作为信息基础设施的缓存层。在系统重启之后,由Mongo搭建的持久化缓存层可以避免下层的数据源 过载。
  • 大尺寸,低价值的数据:使用传统的关系型数据库存储一些数据时可能会比较昂贵,在此之前,很多时候程序员往往会选择传统的文件进行存储。
  • 高伸缩性的场景:Mongo非常适合由数十或数百台服务器组成的数据库。Mongo的路线图中已经包含对MapReduce引擎的内置支持。
  • 用于对象及JSON数据的存储:Mongo的BSON数据格式非常适合文档化格式的存储及查询。

 

 

MongoDB要注意的问题

1 因为MongoDB是全索引的,所以它直接把索引放在内存中,因此最多支持2.5G的数据。如果是64位的会更多。

2 因为没有恢复机制,因此要做好数据备份

3 因为默认监听地址是127.0.0.1,因此要进行身份验证,否则不够安全;如果是自己使用,建议配置成localhost主机名

4 通过GetLastError确保变更。(这个不懂,实际中没用过)

 

MongoDB结构介绍

MongoDB中存储的对象时BSON,是一种类似JSON的二进制文件,它是由许多的键值对组成。如下所示

复制代码
{  
"name" : "huangz",  
"age" : 20,  
"sex" : "male"  
}  
{    
"name" : "jack",  
"class" : 3,  
 "grade" : 3  
} 
复制代码

而数据库的整体结构组成如下:

键值对--》文档--》集合--》数据库

MongoDB的文件单个大小不超过4M,但是新版本后可提升到16M

MongoDB中的key命名规则如下:

  • "\0"不能使用
  • 带有"."号,"_"号和"$"号前缀的Key被保留
  • 大小写有区别,Age不同于age
  • 同一个文档不能有相同的Key
  • 除了上面几条规则外,其他所有UTF-8字符都可以使用

常用命令

1 #进入数据库

use admin

2 #增加或修改密码

db.addUser('xingoo','123')

db.addUser("xingoo","123",true) 参数分别为 用户名、密码、是否只读

3 #查看用户列表

db.system.users.find()

4 #用户认证

db.auth('xingoo','123')

5 #删除用户

db.removeUser('xingoo')

6 #查看所有用户

show users

7 #查看所有数据库

show dbs

8 #查看所有的collection集合

show collections

9 #查看各个collection的状态

db.printCollectionStats()

10 #查看主从复制状态

db.printReplicationInfo()

11 #修复数据库

db.repairDatabase()

12 #设置profiling,0:off 1:slow 2 all

db.setProfilingLevel(1)

13 #查看profiling

show profiling

14 #拷贝数据库

db.copyDatabase('xingootest','xingootest1')

db.copyDatabase("xingootest","temp","127.0.0.1")

15 #删除集合collection

db.xingootest.drop()

16 #删除当前数据库

db.dropDatabase()

 

MongoDB增删改命令

1 #存储嵌套的对象

db.foo.save({'name':xingoo,'age':25,'address':{'city':'changchun','Province':'Jilin'}})

2 #存储数组对象

db.foo.save({'name':xingoo,'age':25,'address':['Jilin Province','Liaoning Province']})

3 #根据query条件修改,如果不存在则插入,允许修改多条记录

db.foo.update({'age':'25'},{'$set':{'name':'xingoo'}},upsert=true,multi=true)

4 #删除yy=5的记录

db.foo.remove({'name':'xingoo'})

5 #删除所有的记录

db.foo.remove()

 

索引

1 #增加索引:1 asc -1 desc

db.foo.ensureIndex({firstname:1,lastname:-1},{unieap:true})

2 #索引子对象(不懂)

db.foo.ensureIndex({'Al.Em':!})

3 #查看索引信息

db.foo.getIndexes()

db.foo.getIndexKeys()

4 #根据索引名删除索引(不懂)

db.foo.dropIndex('Al.Em_1')

 

查询

条件操作符

复制代码
 1 $gt ---- >
 2 $lt ---- <
 3 $gte ---- >=
 4 $lte ---- <=
 5 $ne ---- != 、<>
 6 $in ---- in
 7 $nin ---- not in
 8 $all ---- all
 9 $or ---- or
10 $not ---- 反匹配
复制代码

 

1 #查询所有记录

db.foo.find() ---- select * from foo

2 #查询某列非重复的记录

db.foo.distinct("xingoo") ---- select distinct name from foo

3 #查询age = 22 的记录

db.foo.find({"age":22}) ---- select * from foo where age = 22

4 #查询age > 22 的记录

db.foo.find({age:{$gt:22}}) ---- select * from foo where age > 22

5 #查询age < 22 的记录

db.foo.find({age:{$lt:22}}) ---- select * from foo where age < 22

6 #查询age <= 25的记录

db.foo.find({age:{$lte:25}})

7 #查询age >= 23 并且 age <=26的记录

db.foo.find({age:{lte:26}})

8 #查询name中包含xingoo的数据

db.foo.find({name:/xingoo/}) ---- select * from foo where name like '%xingoo%'

9 #查询name中以xingoo开头的数据

db.foo.find({name:/^xingoo/}) ---- select * from foo where name like 'xingoo%'

10 #查询指定列name、age的数据

db.foo.find({},{name:1,age:1}) ---- select name,age from foo

11 #查询制定列name、age数据,并且age > 22

db.foo.find({age:{$gt:22}},{name:1,age:1}) ---- select name,age from foo where age >22

12 #按照年龄排序

升序:db.foo.find().sort({age:1})  降序:db.foo.find().sort({age:-1})

13 #查询name=xingoo.age=25的数据

db.foo.find({name:'xingoo',age:22}) ---- select * from foo where name='xingoo' and age ='25'

14#查询前5条数据

db.foo.find().limit(5) ---- select top 5 * from foo

15 #查询10条以后的数据

db.foo.find().skip(10) ---- select * from foo where id not in (select top 10 * from foo);

16 #查询在5-10之间的数据

db.foo.find().limit(10).skip(5) 

17 #or与查询

db.foo.find({$or:[{age:22},{age:25}]}) ---- select * from foo where age=22 or age =25

18 #查询第一条数据

db.foo.findOne() 、db.foo.find().limit(1)---- select top 1 * from foo

19 #查询某个结果集的记录条数

db.foo.find({age:{$gte:25}}).count() ---- select count(*) from foo where age >= 20

20 #按照某列进行排序(不懂)

db.foo.find({sex:{$exists:true}}).count() ---- select count(sex) from foo

21 #查询age取模10等于0的数据

db.foo.find('this.age % 10 == 0')、db.foo.find({age:{$mod:[10,0]}})

22 #匹配所有

db.foo.find({age:{$all:[22,25]}})

23 #查询不匹配name=X*带头的记录

db.foo.find({name:{$not:/^X.*/}})

24 #排除返回age字段

db.foo.find({name:'xingoo'},{age:0})

25 #判断字段是否存在

db.foo.find({name:{$exists:true}})

 

管理

1 #查看collection数据大小

db.xingootest.dataSize()

2 #查看collection状态

db.xingootest.stats()

3 #查询所有索引的大小

db.xingootest.totalIndexSize()


mongoDB关于数据库的操作

 

> db.help();  ------DB methods      

User相关的基本操作:

> show users                        ------查看所有用户

> db.system.users.find()              ------查看用户列表

> db.addUser('name','pwd')                           ------增加或修改用户密码

> db.addUser("userName", "pwd123", true)      ------添加用户、设置密码、是否只读

> db.auth("userName", "123123")                  ------数据库认证、安全模式

> db.removeUser('name')                               ------根据用户名删除用户

Database相关的基本操作:

> show dbs                                                                           ------查看所有数据库

> use [db-name]                                                                  ------当创建一个集合(table)的时候会自动创建当前数据库,这个指令相当于mysql的use [database-name]

> db.dropDatabase()                                                          ------删除当前的数据库

> db.repairDatabase()                                                        ------修复数据库

> db.copyDatabase('mail_addr','mail_addr_tmp')         -----拷贝数据库

> db.copyDatabase("mydb", "temp", "127.0.0.1")          ------将本机的mydb的数据复制到temp数据库中

> db.cloneDatabase(“127.0.0.1”)                                     ------将指定机器上的数据库的数据克隆到当前数据库

Collection相关的基本操作:

> show collections                                                             ------查看所有的集合 

> db.printReplicationInfo()                                             ------查看主从复制状态

> db.mail_addr.drop()                                                     ------删除collection(mail_addr 是collections的名字)

> db.createCollection(“collectionName”, {size: 20, capped: 5, max: 100})            ------创建一个聚集集合

> db.getCollection("account")                                        ------得到指定名称的聚集集合

> db.getCollectionNames()                                             ------得到当前db的所有聚集集合

> db.printCollectionStats()                                              ------查看各collection的状态

其它:

 

> db.getPrevError()                                                          ------查询之前的错误信息
> db.resetError()                                                               ------清除错误记录

 

> db.user.help();             -----DBCollection help   (此处的user表示的是我的collection的名字)

 

查看聚集集合的基本信息(下面出现的test表示collection的名字)
 
> db.test.count();                  ------查询当前集合的数据条数
> db.test.dataSIze();                                                   ------查询数据空间大小
> db.test.getDB();                                                       ------得到当前聚集集合所在的database
> db.test.stats();                                                          ------得到当前聚集的状态
> db.test.totalSize();                                                ------得到聚集集合总大小
> db.test.storageSize();                                             ------得到聚集集合储存空间大小
> db.test.getShardVersion();                                    ------Shard版本信息
> db.test.renameCollection("users");                     ------将集合test重名为users
> db.test.drop();                                                          ------删除当前聚集集合

 

mongoDB数据的导入和导出

  Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项,也可以根据指定的条件导出数据。
  导出命令选项说明: 

  • -h:指明数据库宿主机的IP
  • -u:指明数据库的用户名
  • -p:指明数据库的密码
  • -d:指明数据库的名字
  • -c:指明collection的名字
  • -f:指明要导出那些列
  • -o:指明到要导出的文件名
  • -q:指明导出数据的过滤条件
[sql]  view plain copy
 
 
 
  1. user@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoexport -d wx_connect -c template -o template.txt  
  2. [sudo] password for user:   
  3. connected to: 127.0.0.1  
  4. exported 28 records  
     在导出数据时没有显示指定导出样式 ,默认导出了JSON格式的数据。如果我们需要导出CSV格式的数据,则需要使用--csv参数。导出的位置在/usr/lib/mongodb/bin下面,可以自己指定路径
[plain]  view plain copy
 
 
 
  1. user@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoexport -d wx_connect -c template --csv -o template_csv.dat  
  2. connected to: 127.0.0.1  
  3. csv mode requires a field list                     ------第一次没有指明要导出的列,所以只是实现一个空的文件  
  4. user@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoexport -d wx_connect -c template --csv -f msgId,templateId,status,toUser -o template_csv_new.dat  
  5. connected to: 127.0.0.1  
  6. exported 28 records                           ------导出成功  
     Mongodb中的mongoimport工具可以把一个特定格式文件中的内容导入到指定的collection中。该工具可以导入JSON格式数据,也可以导入CSV格式数据
     导入命令选项说明:  
  • -h:指明数据库宿主机的IP
  • -u:指明数据库的用户名
  • -p:指明数据库的密码
  • -d:指明数据库的名字
  • -c:指明collection的名字
  • -f:指明要导入那些列
  删除数据库中的数据(删除的时候可能会报remove needs a query at src/mongo/shell/collection.js:299这个错误,查阅相关资料没有找到答案。解决的方法:直接删除collections,然后在导数据,或者是安装mongoDB时指定数据data的路径,登陆mongo服务器端的时候也指定路径,这样应该不会出现删数据的时候需要去查询。第二种方法有待考证!)
[sql]  view plain copy
 
 
 
  1. > db.template.remove();  
[sql]  view plain copy
 
 
 
  1. > db.template.drop();  
  2. true                      ------删除聚集集合collection  
      导入数据(导入数据的时候会隐式创建表结构)
[sql]  view plain copy
 
 
 
  1. user@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoimport -d wx_connect -c template  -o template.txt  
  2. connected to: 127.0.0.1  
  3. imported 28 records   
   上面演示的是导入JSON格式的文件中的内容,如果要导入CSV格式文件中的内容,则需要通过--type参数指定导入格式(CSV 格式良好,主流数据库都支持导出为CSV 的格式,所以这种格式非常利于异构数据迁移)
[sql]  view plain copy
 
 
 
  1. user@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoexport -d wx_connect -c template --type csv --headerline --file template_csv_new.dat  
  2. connected to: 127.0.0.1  
  3. exported 28 records  

  参数说明:

 -type:指明要导入的文件格式

 -headerline:指明第一行是列名,不需要导入

 -file:指明要导入的文件

 

MongoDB的数据备份和恢复

   用mongodump 来做MongoDB 的库或表级别的备份

      备份选项说明(sudo ./mongodump  --help):

  • -h:指明数据库宿主机的IP
  • -u:指明数据库的用户名
  • -p:指明数据库的密码
  • -d:指明数据库的名字
  • -c:指明collection的名字
  • -o:输出目录
  • -q:json query(json查询)

 

[sql]  view plain copy
 
 
 
  1. user@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongodump -d wx_connect -c template  
  2. connected to: 127.0.0.1  
  3. 2014-11-07T11:05:45.473+0800 DATABASE: wx_connect    to     dump/wx_connect  
  4. 2014-11-07T11:05:45.474+0800 wx_connect.template to dump/wx_connect/template.bson  
  5. 2014-11-07T11:05:45.475+0800         28 documents  
  6. 2014-11-07T11:05:45.475+0800 Metadata for wx_connect.template to dump/wx_connect/template.metadata.json  
         这个备份操作备份的是wx_connect数据库下面的一个collections,这个collection的名字是template,如果不写-c template,那么备份的就是整个数据库wx_connect. 默认的备份路径就是dump

 

[sql]  view plain copy
 
 
 
  1. user@user-xubuntu:/usr/lib/mongodb/bin$ cd dump  
  2. user@user-xubuntu:/usr/lib/mongodb/bin/dump$ ls  
  3. wx_connect  
  4. user@user-xubuntu:/usr/lib/mongodb/bin/dump$ cd wx_connect/  
  5. user@user-xubuntu:/usr/lib/mongodb/bin/dump/wx_connect$ ls  
  6. template.bson  template.metadata.json                     ------备份之后会生成两个文件  
  用mongorestore 来做MongoDB 的库或表级别的数据恢复

    恢复选项说明(sudo ./mongorestore  --help):

  • -u:指明数据库的用户名
  • -p:指明数据库的密码
  • -d:指明数据库的名字
  • -c:指明collection的名字        

 

[sql]  view plain copy
 
 
 
  1. user@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongorestore -d wx_connect dump/wx_connect   //wx_connect是数据库的名字,dump/wx_connect 用来做恢复的文件路径   
  2. [sudo] password for user:   
  3. connected to: 127.0.0.1  
  4. 2014-11-07T12:04:55.412+0800 dump/wx_connect/template.bson  
  5. 2014-11-07T12:04:55.413+0800    going into namespace [wx_connect.template]  
  6. 28 objects found  
  7. 2014-11-07T12:04:55.416+0800    Creating index: { key: { _id: 1 }, name: "_id_", ns: "wx_connect.template" }  
        经验证数据已经恢复。
 
posted @ 2020-12-03 12:44  vekair  阅读(673)  评论(0编辑  收藏  举报