mongodb介绍
一 介绍
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可护展的高性能数据存储解决方案。 一个mongod服务可以有建立多个数据库，每个数据库可以有多张表，这里的表名叫collection，每个collection可以存放多个文档（document），每个文档都以BSON（binary json）的形式存放于硬盘中，因此可以存储比较复杂的数据类型。它是以单文档为单位存储的，你可以任意给一个或一批文档新增或删除字段，而不会对其它文档造成影响，这就是所谓的schema-free，这也是文档型数据库最主要的优点。跟一般的key-value数据库不一样的是，它的value中存储了结构信息，所以你又可以像关系型数据库那样对某些域进行读写、统计等操作。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。Mongo还可以解决海量数据的查询效率，根据官方文档，当数据量达到50GB以上数据时，Mongo数据库访问速度是MySQL10 倍以上。
- 它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有：
- *面向集合存储，易存储对象类型的数据。
- *模式自由。
- *支持动态查询。
- *支持完全索引，包含内部对象。
- *支持查询。
- *支持复制和故障恢复。
- *使用高效的二进制数据存储，包括大型对象（如视频等）。
- *自动处理碎片，以支持云计算层次的扩展性
- *支持RUBY，PYTHON，JAVA，C++，PHP等多种语言。
- *文件存储格式为BSON（一种JSON的扩展）
- *可通过网络访问
- 所谓"面向集合"（Collenction-Oriented），意思是数据被分组存储在数据集中，被称为一个集合（Collenction)。每个集合在数据库中都有一个唯一的标识名，并且可以包含无限数目的文档。集合的概念类似关系型数据库（RDBMS）里的表（table），不同的是它不需要定义任何模式（schema)。
- 模式自由（schema-free)，意味着对于存储在mongodb数据库中的文件，我们不需要知道它的任何结构定义。如果需要的话，你完全可以把不同结构的文件存储在同一个数据库里。
- 存储在集合中的文档，被存储为键-值对的形式。键用于唯一标识一个文档，为字符串类型，而值则可以是各种复杂的文件类型。我们称这种存储形式为BSON（Binary Serialized dOcument Format）。
- MongoDB服务端可运行在Linux、Windows或OS X平台，支持32位和64位应用，默认端口为27017。推荐运行在64位平台，因为MongoDB在32位模式运行时支持的最大文件尺寸为2GB。
二 安装及使用
Linux/OS X下:
1 建立数据目录
mkdir -p /data/db
2 下载压缩包
curl -O http://downloads.mongodb.org/linux/mongodb-linux-i686-latest.tgz
3 解压缩文件
tar xzf mongodb-linux-i386-latest.tgz
4 启动服务
bin/mongod run &
5 使用自带客户端连接
/bin/mongo
6 测试
db.foo.save( { a : 1 })
db.foo.findOne()
windows下：
1 建立数据目录c:\data\db
2 下载压缩包，解压文件
3 启动服务
bin\mongod.exe run
4 自带客户端
bin\mongon.exe
在LINUX和WINDOWS系统下的使用大同小异，不同的地方主要是默认的数据存储目录。LINUX类系统下存放在/data/db下，而WINDOWS
会存放在C:\data\db下。可以在启动时使用--dbpath参数指定存储目录并启动。如：bin\mongod.exe --dbpath d:\data\mongo
常用启动参数：
run 直接启动。例：./mongod run
--dbpath 指定特定存储目录启动，若目录不存在则创建。例：./mongod --dbpath /var/data/mongo
--port 指定端口启动。例：./mongod --port 12345
停止MONGO服务：
方法1：服务端停止，可使用Ctrl+C
方法2：在客户端停止，可先连接客户端
./mongo
并使用命令
db.shutdownerver()
然后退出客户端
exit
三 索引
mongodb可以对某个字段建立索引，可以建立组合索引、唯一索引，也可以删除索引，建立索引就意味着增加空间开销。默认情况下每个表都会有一个唯一索引：_id，如果插入数据时没有指定_id，服务会自动生成一个_id，为了充分利用已有索引，减少空间开销，最好是自己指定一个unique的key为_id，通常用对象的ID比较合适，比如商品的ID。
四 shell操作数据库
1. 超级用户相关：
1. #进入数据库admin
use admin
2. #增加或修改用户密码
db.addUser('name','pwd')
3. #查看用户列表
db.system.users.find()
4. #用户认证
db.auth('name','pwd')
5. #删除用户
db.removeUser('name')
6. #查看所有用户
show users
7. #查看所有数据库
show dbs
8. #查看所有的collection
show collections
9. #查看各collection的状态
db.printCollectionStats()
10. #查看主从复制状态
db.printReplicationInfo()
11. #修复数据库
db.repairDatabase()
12. #设置记录profiling，0=off 1=slow 2=all
db.setProfilingLevel(1)
13. #查看profiling
show profile
14. #拷贝数据库
db.copyDatabase('mail_addr','mail_addr_tmp')
15. #删除collection
db.mail_addr.drop()
16. #删除当前的数据库
db.dropDatabase()
2. 增删改
1. #存储嵌套的对象
db.foo.save({'name':'ysz','address':{'city':'beijing','post':100096},'phone':[138,139]})
2. #存储数组对象
db.user_addr.save({'Uid':'yushunzhi@sohu.com','Al':['test-1@sohu.com','test-2@sohu.com']})
3. #根据query条件修改，如果不存在则插入，允许修改多条记录
db.foo.update({'yy':5},{'$set':{'xx':2}},upsert=true,multi=true)
4. #删除yy=5的记录
db.foo.remove({'yy':5})
5. #删除所有的记录
db.foo.remove()
3. 索引
1. #增加索引：1(ascending),-1(descending)
2. db.foo.ensureIndex({firstname: 1, lastname: 1}, {unique: true});
3. #索引子对象
4. db.user_addr.ensureIndex({'Al.Em': 1})
5. #查看索引信息
6. db.foo.getIndexes()
7. db.foo.getIndexKeys()
8. #根据索引名删除索引
9. db.user_addr.dropIndex('Al.Em_1')
4. 查询
1. #查找所有
2. db.foo.find()
3. #查找一条记录
4. db.foo.findOne()
5. #根据条件检索10条记录
6. db.foo.find({'msg':'Hello 1'}).limit(10)
7. #sort排序
8. db.deliver_status.find({'From':'ixigua@sina.com'}).sort({'Dt',-1})
9. db.deliver_status.find().sort({'Ct':-1}).limit(1)
10. #count操作
11. db.user_addr.count()
12. #distinct操作,查询指定列，去重复
13. db.foo.distinct('msg')
14. #">="操作
15. db.foo.find({"timestamp": {"$gte" : 2}})
16. #子对象的查找
17. db.foo.find({'address.city':'beijing'})
5. 管理
1. #查看collection数据的大小 2. db.deliver_status.dataSize() 3. #查看colleciont状态 4. db.deliver_status.stats() 5. #查询所有索引的大小 6. db.deliver_status.totalIndexSize()
6. advanced queries:高级查询
条件操作符
$gt : >
$lt : <
$gte: >=
$lte: <=
$ne : !=、<>
$in : in
$nin: not in
$all: all
$not: 反匹配(1.3.3及以上版本)
查询 name <> "bruce" and age >= 18 的数据
db.users.find({name: {$ne: "bruce"}, age: {$gte: 18}});
查询 creation_date > '2010-01-01' and creation_date <= '2010-12-31' 的数据
db.users.find({creation_date:{$gt:new Date(2010,0,1), $lte:new Date(2010,11,31)});
查询 age in (20,22,24,26) 的数据
db.users.find({age: {$in: [20,22,24,26]}});
查询 age取模10等于0 的数据
db.users.find('this.age % 10 == 0');
或者
db.users.find({age : {$mod : [10, 0]}});
匹配所有
db.users.find({favorite_number : {$all : [6, 8]}});
可以查询出{name: 'David', age: 26, favorite_number: [ 6, 8, 9 ] }
可以不查询出{name: 'David', age: 26, favorite_number: [ 6, 7, 9 ] }
查询不匹配name=B*带头的记录
db.users.find({name: {$not: /^B.*/}});
查询 age取模10不等于0 的数据
db.users.find({age : {$not: {$mod : [10, 0]}}});
#返回部分字段
选择返回age和_id字段(_id字段总是会被返回)
db.users.find({}, {age:1});
db.users.find({}, {age:3});
db.users.find({}, {age:true});
db.users.find({ name : "bruce" }, {age:1});
0为false, 非0为true
选择返回age、address和_id字段
db.users.find({ name : "bruce" }, {age:1, address:1});
排除返回age、address和_id字段
db.users.find({}, {age:0, address:false});
db.users.find({ name : "bruce" }, {age:0, address:false});
数组元素个数判断
对于{name: 'David', age: 26, favorite_number: [ 6, 7, 9 ] }记录
匹配db.users.find({favorite_number: {$size: 3}});
不匹配db.users.find({favorite_number: {$size: 2}});
$exists判断字段是否存在
查询所有存在name字段的记录
db.users.find({name: {$exists: true}});
查询所有不存在phone字段的记录
db.users.find({phone: {$exists: false}});
$type判断字段类型
查询所有name字段是字符类型的
db.users.find({name: {$type: 2}});
查询所有age字段是整型的
db.users.find({age: {$type: 16}});
对于字符字段，可以使用正则表达式
查询以字母b或者B带头的所有记录
db.users.find({name: /^b.*/i});
$elemMatch(1.3.1及以上版本)
为数组的字段中匹配其中某个元素
Javascript查询和$where查询
查询 age > 18 的记录，以下查询都一样
db.users.find({age: {$gt: 18}});
db.users.find({$where: "this.age > 18"});
db.users.find("this.age > 18");
f = function() {return this.age > 18} db.users.find(f);
排序sort()
以年龄升序asc
db.users.find().sort({age: 1});
以年龄降序desc
db.users.find().sort({age: -1});
限制返回记录数量limit()
返回5条记录
db.users.find().limit(5);
返回3条记录并打印信息
db.users.find().limit(3).forEach(function(user) {print('my age is ' + user.age)});
结果
my age is 18
my age is 19
my age is 20
限制返回记录的开始点skip()
从第3条记录开始，返回5条记录(limit 3, 5)
db.users.find().skip(3).limit(5);
查询记录条数count()
db.users.find().count();
db.users.find({age:18}).count();
以下返回的不是5，而是user表中所有的记录数量
db.users.find().skip(10).limit(5).count();
如果要返回限制之后的记录数量，要使用count(true)或者count(非0)
db.users.find().skip(10).limit(5).count(true);
分组group()
假设test表只有以下一条数据
{ domain: "www.mongodb.org"
, invoked_at: {d:"2009-11-03", t:"17:14:05"}
, response_time: 0.05
, http_action: "GET /display/DOCS/Aggregation"
}
使用group统计test表11月份的数据count:count(*)、total_time:sum(response_time)、avg_time:total_time/count;
db.test.group(
{ cond: {"invoked_at.d": {$gt: "2009-11", $lt: "2009-12"}}
, key: {http_action: true}
, initial: {count: 0, total_time:0}
, reduce: function(doc, out){ out.count++; out.total_time+=doc.response_time }
, finalize: function(out){ out.avg_time = out.total_time / out.count }
} );
[
{
"http_action" : "GET /display/DOCS/Aggregation",
"count" : 1,
"total_time" : 0.05,
"avg_time" : 0.05
}
]
五 java应用示例
要使用Java操作MongoDB的话，要到官方网站下载一个驱动包，把包导入后，可以尝试来操作了（记得一定要开着服务器）
首先介绍一下比较常用的几个类
Mongo：连接服务器，执行一些数据库操作的选项，如新建立一个数据库等
DB：对应一个数据库，可以用来建立集合等操作
DBCollection：对应一个集合（类似表），可能是我们用得最多的，可以添加删除记录等
DBObjec：接口和BasicDBObject对象：表示一个具体的记录，BasicDBObject实现了DBObject，因为是key-value的数据结构，所以用起来其实和HashMap是基本一致的
DBCursor：用来遍历取得的数据，实现了Iterable和Iterator
接下来实际的操作一下，代码如下：
package test;
import com.mongodb.*;
import java.net.UnknownHostException;
import java.util.Date;
import java.util.List;
public class Test {
public static void main(String[] args) throws UnknownHostException {
Mongo m = new Mongo( "localhost" , 27017 );
//获取数据库对象,如果没mydb数据库，自动创建一个
DB db = m.getDB("mydb");
//删除数据库对象
m.dropDatabase("test");
//获取所有数据库名称列表
for (String s : m.getDatabaseNames()) {
System.out.println(s);
}
//增加一个用户,密码需转换成字符数据
// db.addUser("admin", "123456".toCharArray());
// System.out.println(db.authenticate("admin", "123456".toCharArray()));
//验证数据库用户名密码
boolean auth = db.authenticate("admin", "123456".toCharArray());
System.out.println("-----------"+auth);
//得到一个集合，可对这个集合进行CRUD操作
DBCollection coll = db.getCollection("adminCollection");
// DBCollection coll = db.getCollection("userCollection");
//统计adminCollection集合中文档数量
System.out.println("adminCollection object count-----"+coll.getCount());
//用到内部文档组装数据，然后用集合的insert方法插入
DBObject object = new BasicDBObject();
object.put("picName", "d:\\pic\\test\\1.jpg");
object.put("content","ssssssssss");
coll.insert(object);
for (int i = 0; i < 10; i++) {
// coll.insert(new BasicDBObject().append("i", i));
}
//使用findOne()查找集合中第一个文档
DBObject myDoc = coll.findOne();
System.out.println("the first result----" + myDoc);
//查询,相当于字段--值的关系
DBObject dbObject = new BasicDBObject();
dbObject.put("picName", "d:\\pic\\test\\1.jpg");
// dbObject.put("_id","c5605578414d384b5e4cc200");
DBCursor curs = coll.find(dbObject);
while (curs.hasNext()) {
System.out.println("query result-------" + curs.next().get("_id").toString());
}
//删除集合中所有的数据
DBObject toRemoveObject = new BasicDBObject();
dbObject.put("i", 0);
coll.remove(toRemoveObject);
//删除集合中某个文档数据
DBObject toRemoveObject = new BasicDBObject();
toRemoveObject.put("i", 5);
DBObject ob = coll.findOne(toRemoveObject);
if (ob != null) {
System.out.println("---to remove-------" + ob);
coll.remove(ob);
}
// coll.remove(new BasicDBObject().append("i", 1));
//使用光标（cursor）来获取当前集合中全部文档
DBCursor cur = coll.find();
while (cur.hasNext()) {
System.out.println("------" + cur.next());
}
//为当前集合相应属性创建索引,指定升序（1）或降序（-1）。
coll.createIndex(new BasicDBObject("user", 1));
//获取索引列表
List<DBObject> indexList = coll.getIndexInfo();
for (DBObject o : indexList) {
System.out.println("index ---------" + o);
} //用DBObject存储JAVA对象
DBCollection collection = db.getCollection("MemberCollection");
//创建Java中的对象
Member member = new Member();
member.put("userName", "admin");
member.put("password", "admin");
member.put("logTime", new Date());
member.setUserName("admin");
member.setPassword("admin");
member.setLogTime(new Date());
collection.insert(member);
//把文档转换成DBObject接口类型，要将它实例化为你的对象
DBCollection.setObjectClass();
collection.setObjectClass(Member);
Member myTweet = (Member) collection.findOne();
}
}
