BSON
在MongoDB中,文档是对数据的抽象,被使用在client端和server端的交互中,所有client端(各种语言的Driver)都会用这种抽象,它的表现形式就是我们常说的BSON(Binary JSON)
BSON是一个轻量级的二进制数据格式。MongoDB能够使用BSON,并将BSON作为数据的存储存放在磁盘中。
当Client端要将写入文档,使用查询等等操作时,需要将文档编码为BSON格式,然后再发送给server端。同样,Server端的返回结果也是编码为BSON格式再放回给Client端的。
使用BSON格式出于以下3种目的:
1.效率
BSON是为效率而设计的,它只需要使用很少的空间,即使在最坏的情况下,BSON格式也比JSON格在最好的情况下存储效率高。
2.传输性
在某些情况下,BSON会牺牲额外的空间让数据的传输更加方便。比如,字符串的传输的前缀会标识字符串的长度,而不是在字符串的末尾打上结束的标识,这样的传输形式有利于MongoDB修改传输的数据。
3.性能
最后,BSON格式的编码和解码都是非常快速的,它使用了C风格的数据表现形式,这样在各种语言中都可以高效地使用。
写入协议
Client端访问Server端使用了轻量级的TCP/IP写入协议,这种协议在MongoDB Wiki中有详细介绍,它其实是在BSON数据上面做了一层简单的包装。比如说,写入数据的命令中包含了1个20字节的消息头(由消息的长度和写入命令标识组成),需要写入的Collection名称和需要写入的数据。
数据文件
在MongoDB的数据文件夹中(默认路径是/data/db)由构成数据库的所有文件。每个一个数据库都包含一个.ns文件和一些数据文件,其中数据文件会随着数据量的增加而变多。所以如果有一个数据库名字叫做foo, 那么构成foo这个数据库的文件就会有foo.ns, foo.0, foo.1, foo.2等等组成。
数据文件每新增一次,大小都会是上一个数据文件的2倍,每个数据文件最大2G。这样的设计有利于防止数据量较小的数据库浪费过多的空间,同时又能保证数据量较大的数据库有相应的空间使用。
MongoDB会使用预分配方式来保证写入性能的稳定(这种方式可以使用-noprealloc关闭)。
预分配在后台进行,并且每个预分配的文件都用0进行填充。这会让MongoDB始终保持额外的空间和空余的数据文件,从而避免了数据增长过快而带来的分配磁盘空间引起的阻塞。
名字空间和盘区
每一个数据库都由多个名字空间组成,每个名字空间存储了相应类型的数据。数据库中的每一个collection都有各自对应的名字空间,索引文件同样也有名字空间。所有名字空间的元数据都存储在.ns文件中。
名字空间中的数据在磁盘中分为多个区间,这个叫做盘区。
比如foo数据库有3个数据文件,分别为foo.0, foo.1, foo.2
盘区: foo.test, foo.bar, foo.baz, foo.$freelist
每一个名字空间可以包含多个不同的盘区,这些盘区并不是连续的。与数据文件的增长相同,每一个名字空间对应的盘区大小也是随着分配的次数不断增长的。这样做的目的是为了平衡名字空间浪费的空间与保持某一个名字空间中数据的连续性。注意,$freelist名字空间用于记录不再使用的盘区(被删除的collection或索引)。每当名字空间需要分配新的盘区的时候,都会先查看$freelist是否有大小合适的盘区可以使用。
内存映射存储引擎
MongoDB目前支持的存储引擎为内存映射引擎。当MongoDB启动的时候,会将所有的数据文件映射到内存中,然后操作系统会托管所有的磁盘操作。这种存储引擎有以下几个特点:
1.MongoDB中关于内存管理的代码非常精简,毕竟相关的工作已经有操作系统进行托管。
2.MongoDB服务器使用的虚拟内存将非常巨大,并将超过整个数据文件的大小。不用担心,操作系统会去处理这一切。
3.MongoDB无法控制数据写入磁盘的顺序,这样将导致MongoDB无法实现writeahead日志的特性。所以,如果MongoDB希望提供一种durability的特性,需要实现另一种存储引擎。
4.32位系统的MongoDB服务器每一个Mongod实例只能使用2GB的数据文件。这是由于地址指针只能支持32位。