nosql篇mongodb初识与安装整理以及与关系型数据库对比
年前曾经写过关于mongodb的安装,但是后来有朋友弹窗说安装后遇到服务无法启动,在此将windows下以及Linux下的安装重新整理,顺便把会遇到的一些问题的解决方法写出来,其实mongodb的安装还是比较简单的.
随着互联网WEB2.0网站的兴起，传统关系型数据库力不从心
数据库高并发读写的需求
数据库并发负载非常高，往往每秒数万次读写请求，磁盘IO瓶颈
海量数据的高效率访问的需求
对数亿甚至数十亿的记录高效查询
高可扩展性和高可用性的需求
7*24小时高可用，Failover，易扩展
传统SQL数据库时代对大数据的处理
单表单库时代：用户不停的增长、数据量增大导致压力过大
Replication及主从分离
分表分库时代：按业务key分片到不同的库，通常按取模算法
增加维护成本，不停的重复劳动
没有完美的Sharding Framework（Hivedb，限制Order/Join）
需要的存储：高性能、分布式、易扩展
Nosql = Not Only SQL 根据海量数据特点补充关系型数据库的不足
NoSQL使用案例
MongoDB特点
面向集合(collection-orented)
意思是数据被分组存储在数据集中被称为一个集合,每个集合在数据库中都有一个唯一的标识名,并且可以包含无线数目的文档,集合的概念类似关系型数据库里的表,不同的是它不需要定义任何模式.
模式自由(schema-free)
集合里面没有列和行的概念,下面2个记录可以存放在同一个集合里
{“name”,”dennisit”}
{“age”,30}
文档型(documents type)
存储的数据是键值对的集合,键是字符串,值可以是数据类型集合里的任意类型,包括数组和文档,我们把这个数据格式称作”BSON”,即”Binary Serialized DocumentNotation ”.每一个文档相当于关系数据库中的一条记录.
MongoDB特征
MongoDB的特点是高性能、易部署、易使用,存储数据非常方便,主要特征有:
面向集合存储: 易于存储对象类型的数据
模式自由: 没有行列概念,不同类型数据记录可以放在同一个集合里
支持动态查询: 查询指令使用json形势的标记.可轻易查询文档中内嵌的对象及数组.
完整的索引支持:包含内部对象和数组,mongoDB的查询优化器会分析查询表达式,并生成一个高效的查询计划.
支持复制和故障恢复：MongoDB数据库支持服务器之间的数据复制,支持主从模式及服务器之间的相互复制,复制的目的是提供冗余及自动故障转移.
使用高效的二进制数据存储,包括大型对象(如视频,大图片等)
自动处理碎片,以支持云计算层次的伸缩性,自动分片功能支持水平的数据库集群,可动态添加额外的机器.
支持Python、PHP、Ruby、Java、C、C#、Javascript、Perl及C++语言的驱动程序,
支持存储格式为BSON(一种JSON的扩展)
MongoDB使用场景
适合作为信息基础设施的持久化缓存层
高效的实时性:MongoDB具备网站实时数据存储所需的复制及高度伸缩性
MongoDB的Bson数据格式非常适合文档化格式的存数及查询(每个BSON对象大小不能超过4M,如果超过4M时需要使用GridFS来储存数据)
高伸缩性的场景:适合由数十或数百台服务器组成的数据库.因为mongoDB已经包含了对MapReduce引擎的内置支持
大尺寸、低价值的数据存储
MongoDB不使用场景
要求高度事务性的系统
传统的商业智能应用
复杂多表查询
MongDB的数据管理
MongoDB使用了内存映射文件进行数据管理,把所有空间内存当缓存使用,且不能指定内存大小,这样可以最大限度提升性能,但是容易受其他程序干扰.
MongoDB数据空间采用预分配,目的是为了避免形成过多的磁盘碎片,它为每个数据库分配一系列文件,每个数据文件都会被预分配一个大小,第一二个文件名字为”.0”,大小为64M,第二个为”.1”为128M,依次类推,在32位模式运行时支持最大文件为2GB,随着数据量的增加,可以在其数据目录里看到这些不断递增的文件.
为避免记录删除后的数据的大规模挪动,原记录空间不删除,只标记”已删除”即可,以后还可以重复利用,所以删除记录不释放空间.
MongoDB的主键策略
MongoDB没有自动递增或序列特性,当BSON对象插入到数据库中时,,如果没有提供”_id”字段,数据库会自动生成一耳光ObjectId对象作为”_id”的值插入到集合中作为该文档的主键(避免了其它数据库意外地选择相同的惟一表示符的情况),”_id”的值由4字节的时间戳,3字节的机器号,2字节的进行id以及3字节的自增计数组成.当然字段”_id”的值可以手动生成.只要能保证唯一性.对于自增Id,查询时db.collection.find({_id:”xx”})查不到结果，正确写法是db.collection.find({_id:new ObjectId(“xx”)})
MongoDB官网: http://www.mongodb.org/
MongoDB下载地址: http://www.mongodb.org/downloads
Linux下安装MongoDB
第一步: 下载MongoDB
[root@localhost mrms] # wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-1.4.4.tgz
第二步：安装MongoDB
[root@localhost mrms]# tar -zxvf mongodb-linux-x86_64-1.4.4.tgz
将解压的文件重命名为mongodb,cd到mongodb目录下创建数据库文件夹与日志文件夹
[root@localhost mrms]# cd mongodb
[root@localhost mongodb]# ls
bin GNU-AGPL-3.0 include lib64 README THIRD-PARTY-NOTICES
[root@localhost mongodb]# mkdir data
[root@localhost mongodb]# mkdir logs
切换到bin目录下启动MonggoDB服务,这里选择第一个无--auth参数(不需要密码启动)
[root@localhost bin]# ./mongod --dbpath=../data --logpath=../logs --logappend --port=27017 --fork [不需要密码登录]
[root@localhost bin]# ./mongod --dbpath=../data --logpath=../logs --logappend --auth --port=27017 --fork [--auth参数,需要用户名/口令登录]
启动命令常用参数选项说明：
--dbpath 指定数据库的目录
--port 指定数据库的端口.默认是27017
--bind_ip 绑定IP
--directoryperdb 为每个db创建一个独立子目录
--logpath 指定日志存放目录
--logappend 指定日志生成方式(追加/覆盖)
--pidfilepath 指定进程文件路径,如果不指定,将不产生进程文件
--keyFile 集群模式的关键标识
--journal 启用日志
--nssize 指定.ns文件的大小,单位MB,默认是16M,最大是2GB
--maxConns最大的并发连接数
--notablescan 不允许进行表扫描
--noprealloc 关闭数据文件的预分配功能
--fork 以后台Daemon形势运行服务
更多的参数选项利用mongod --help进行查看
检查进程列表
pstree -p | grep mongod
或者
netstat -ntlp
如下图:
登录客户端
[root@localhost bin]# ./mongo
设置mongodb服务开机启动
将mongod服务添加到开机启动[追加到/etc/rc.local文件下]
[root@localhost mrms]#echo "/usr/local/mrms/mongodb/bin/mongod --dbpath=/usr/local/mrms/mongodb/data --logpath=/usr/local/mrms/mongodb/logs --auth --fork " >> /etc/rc.local
关闭mongoDB服务
pkill mongod
或者
killall mongod
注意:不能用kill -9杀掉
ps -ef | grep mongod
kill -9 2596
这样导致mongodb的进程将无法启动了.
解决办法: cd到mongodb的data目录下降mongod.lock这个锁文件删掉 rm -rf mongod.lock
Windows下安装MongoDB
下载mongoDB安装包,解压到D:\program files\mongo,解压下的文件结构如下图
在mongo目下创建data(存放数据)文件和logs(存放日志)文件
通常情况下启动数据库只需要关注其中的2个命令:mongod和mongo,前者是mongdb数据库进程本身,是核心数据库服务器,后者是命令行shell客户端,其使用方法类似于mysql命令行shell客户端,用户确保所有内容都已正常安装且能正常运行,并且可以对数据进行CRUD操作,执行管理任务等.
cmd启动dos界面,cd 到D:\program files\mongo\bin>目录,输入:mongod --dbpath=../data --logpath=../logs/mongodb.log
重新启动一个窗口,使用mongo启动客户端
如图,mongodb服务启动成功.
MongoDB的GUI管理工具
MongoVUE、RockMongo、MongoHub(针对Mac平台的MongoDB图形管理客户端)
MongoDB的体系结构
MongoDB中一系列物理文件(数据文件、日志文件等),的集合或与之对应的逻辑结构(集合、文档等)称为数据库,简单来说,数据库是由一系列与磁盘有关的物理文件组成的.
MongoDB由databases组成,databases由collections组成,collections由document(相当于行)组成,而document油fields(相当于列)组成.
MongoDB是异步写数据.
Mongodb与关系型数据库对比
1.逻辑结构关系对比
关系型数据库:
MySQL数据库(database)、表(table)、记录(rows) 三个层次概念
非关系型数据库:
MongoDB数据库(database)、集合(collection)、文档对象(document三个层次概念
MongoDB里的集合对应于关系型数据库里的表,但是集合中没有列、行和关系的概念,集合中只有文档,一个文档就相当于一条记录,这体现了模式自由的特点.
2.数据存储结构
MySQL的数据存储结构
MySQL的每个数据库存放在一个与数据库同名的文件夹中,MySQL如果使用MyISAM存储引擎,数据库文件类型就包括.frm、.MYD、.MYI。
MongoDB的数据存储结构
MongoDB默认的数据目录是/data/db,它负责存储所有的MongoDB的数据文件,在MongoDB内部,每个数据库都包含一个.ns文件和一些数据文件,而且这些
数据文件会随着数据量的增加而变得越来越多, 所以如果系统中有一个叫做mydb的数据库,那么构成mydb这个数据库的文件就会由mydb.ns、mydb.0、mydb.1等等组成.
查看mongodb中的数据库信息,有多少数据库
show dbs
查看当前数据库
db
查看当前数据库中有多少个集合
show tables或者show collections
往当前数据库中的c1集合中插入一条数据,系统会自动创建c1集合,并插入数据
db.c1.insert({name:"user1"});
查询c1集合中的对象
db.c1.find();
3.MongDB的日志
MongoDB中有几种日志,分别是系统日志、Journal日志、oplog主从日志、慢查询日志等.
系统日志
系统日志在mongdb数据库中很重要,它记录着MongoDB启动和停止操作,以及服务器在运行过程中发生的任何异常信息.配置系统日志比较简单,只需要在启动时mongod时指定一个logpath参数即可
Journal日志
Journal日志通过预写式的redo日志为MongoDB增加了额外的可靠性,开启该功能时,数据的更新会先写入Journal日志,定期提交,然后在真实数据上执行这些变更,如果服务器安全关闭,日志会被清除在服务器启动时,如果存在Journal日志,则会执行提交.启动Journal功能只需要在启动mongod时指定-journal参数即可,这样,系统的Journal信息都会被放到数据库目录(默认是/data/db)的journal文件夹中
oplog日志
MongoDB的高可复用策略中有一种叫做Replica Sets,Replica Sets复制过程中一个服务器充当主服务器,而一个或多个服务器充当从服务器,主服务器将更新写入一个本地的collection中,这个collection记录着发生在主服务器的更新操作,并将这些操作分发到从服务器上.
这个日志是一个capped Collection,且有大小之分,所以最好在启动mongod服务时配置好大小(单位:MB). mongd -oplogsize=1024
慢查询日志
慢查询日志记录了执行时间超过所设定时间阈值的操作语句,慢查询日志对于发现性能有问题的语句很有帮助,建议开启此功能经常分析该日志的内容.要配置这个功能值需要在mongod启动时指定profile参数即可.
Eg.将超过5s的操作记录都记录下来
mongod --profile=1 --slowms=5
运行一段时间后,可以通过查看db.system.profile这个collection来获取慢日志信息
4.MongoDB的数据类型
MongoDB的文档使用BSON(Binary JSON)来组织数据,BSON类似于JSON,JSON只是一种简单的表示数据的方式,只包含了6种数据类型(null、布尔、数字、字符串、数组及对象),不能完全满足负责业务的需要,因此,BSON还提供日期,32位数字、64位数字等类型.
MongoDB中的key-value值支持类型
1.null
null类型用于表示空值或不存在的字段
eg. {"one" ： null}
2.布尔类型
布尔类型有2个值true和false
eg. {"one" ： true}
3.32位整数
MongoDB的控制台使用js引擎进行输入,而JS仅支持64位浮点数,所以32位整数将会被自动转义.
4.64位整数
64位整数与32位整数一样,在MongoDB控制台使用时,会转义为64位浮点数
5.64位浮点数
MongoDB控制台数字的默认类型
eg. {"one":2.02} {"one":521}
6.字符串
UTF-8字符串都可以表示为字符串类型的数据
eg. {"one" : "hello world"}
7.符号
在MongoDB控制台中不支持这种类型,将自动转义成字符串.
8.ObjectOId类型
对象id是文档中唯一的12位的ID
0|1|2|3|4|5|6|7|8|9|10|11
时间戳|机器|PID|计数器一起形成ObjectId值
eg. ObjectId("4eae239f63520362e051e7fd");
9.日期
注意,使用的时候要加上new
eg. {"one" : new Date()}
10.正则表达式
文档键值可以包含正则表达式,其正则表达式采用JS语法来表示.
eg. {"one" : /ho/i}
11.代码
文档中可以包含JS代码
eg. {"one" : function(){/*……*/}}
12.数组
文档中键值可以表示为数组,在数组内还可以嵌套数组
eg. {"x" : [ "a", "b", ["A","B"] ]}
13.内嵌文档
文档可以包含别的文档,也可以作为值嵌入到父文档中
eg. {"x" : {"name" : "tom", "age":20} }
Mongodb常用命令
控制台中的基本操作命令
如果想查看当前连接在哪个数据库下面,可以直接输入db
查看用户列表db.system.users.find();
查看所有用户 show users;
查看所有数据库 show dbs;
查看所有集合 show collections;
删除当前的数据库 db.dropDatabase();
删除collection db.集合名.drop();
想支持mongoDB支持哪些命令, 可以直接输入help
想知道当前数据库支持哪些方法: db.help();
想知道当前集合支持哪些方法: db.集合名.help();
转载请注明出处:[http://www.cnblogs.com/dennisit/archive/2013/02/18/2915361.html]
