MongoDB存储结构

http://www.cnblogs.com/zabery/archive/2012/07/09/mongodb-nei-bu-jie-gou.html

MongoDB内部结构

 

一、前言

本文主要讲述MongoDB使用的数据类型BSON，使用的传输协议Mongo Wire Protocol，MongoDB数据文件的内部结构。

二、BSON

BSON [bee · sahn], short for Bin­ary JSON, is a bin­ary-en­coded seri­al­iz­a­tion of JSON-like doc­u­ments.

JSON相信大家都很熟悉，官网上用一个页面，几百字就把JSON的规则讲清楚了，JSON只包括六种数据类型：null，对象，布尔，数字，字符串以及数组。而BSON支持更多的数据类型，比如日期类型等。

       BSON官网的一个例子{"hello": "world"},分析BSON的存储结构如下：

TotalSize（4）| { BSONType（1）| FieldName | Data } * EOO（1）

TotalSize：Document转换为BSON后的总长度，4个字节表示

BSONType：Data的数据类型，占一个字节

FieldName：字段名，例子中的hello，key/value的"key"，UTF-8字符串，字符串都有一个结束符'\0'

Data：key/value的value，例子中的"world"，如果是字符串则在Data前需要另加四个字节存储Data的长度，如果是其他格式可以参考官网规范。

*：key/value的对数，比如{"hello":"world", "hello1":"world1"}，有两对

EOO：结束符，\x00

分析例子{"hello":"world"}的长度：

TotalSize(4) + BSONType(1) + FieldName(5+1) + Data(4 + 5 + 1) + EOO(1) = 22 字节

进入Mongo Shell可以通过Object.bsonsize 查看bson大小。

而且在http://bsonspec.org/#/specification的example中也可以看到BSON的前四个字节为\x16\x00\x00\x00，十进制正好是22。

     BSON牺牲一些空间来换取更容易遍历的格式，不用每次都检查是否等于'\0'，可遍历性是BSON非常重要的性质。

三、 Mongo Wire Protocol

Mongo Wire Protocol 与 http, ftp都属于应用层协议，只不过该协议目前只是应用于MongoDB 的相关应用中。每个Mongo Wire Protocol 消息都是由标准消息头部和具体的请求数据组成。

标准消息头部格式如下：

而具体的请求，比如修改集合

具体可以参考http://www.mongodb.org/display/DOCS/Mongo+Wire+Protocol。

四、 MongoDB数据文件的内部结构

每个数据库都有一个.ns文件和若干个数据文件组成(.0，.1，.2，.....)，其中.ns文件为16M，而.0文件16M，.1文件32M，往后则翻倍，最大值为2G，这样可以让小数据库不浪费太多的空间，大数据库能够使用磁盘上连续的空间。

数据库里面的每个集合和索引都对应着命名空间。

这是local数据库中的命名空间，可以看到集合，固定集合(capped collection)，索引都有自己的命名空间。

.ns文件记录着若干个集合命名空间和索引命名空间。

一个集合命名空间又有多个数据域(extent)，集合命名空间里存储着集合的元数据，比如集合名称，集合的第一个数据域和最后一个数据域的位置等等。而一个数据域由若干条文档(document)组成，每个数据域都有一个头部，记录着第一条文档和最后一条文档的为知，以及该数据域的一些元数据。extent之间，document之间通过双向链表连接。

索引的存储数据结构是B树，索引命名空间存储着对B树的根节点的指针。MongoDB数据内部结构图如下（图片来自NoSQLFan）

 

分类: 数据库

分类: MongoDB