mongodb集群安装及到现在遇到的一些问题
集群搭建
只有3台服务器,开始搭建mongodb集群里主要参照的是http://www.lanceyan.com/tech/arch/mongodb_shard1.html,端口的设置也是mongos为 20000, config server 为 21000, shard1为 22001 , shard2为22002, shard3为22003。其大体思路为:
在每台服务器上启动config服务
在每台服务器上启动mongos服务,并指定每个mongos服务包含的config服务地址(前一步启动的3个config服务)https://docs.mongodb.com/manual/reference/program/mongos/#cmdoption--configdb
每台服务器上,为每个分片或其复本启动mongod实例https://docs.mongodb.com/manual/tutorial/deploy-replica-set/#start-each-member-of-the-replica-set-with-the-appropriate-options
登录任意一台服务器,配置每个分片的复本集包含的实例https://docs.mongodb.com/manual/reference/method/rs.initiate/#example
登录mongos,在mongos服务中添加启动好的分片https://docs.mongodb.com/manual/reference/command/addShard/#definition
最后在数据库层面和数据集层面开启分片功能。
经过上述几个步骤,就搭出了下图的集群。(图片来自http://www.lanceyan.com/tech/arch/mongodb_shard1.html)
原理、基本命令及参数说明
基本命令
mongod --configsvr 把该mongod实例启动为某个分片集的config Server。这样一来,只能通过admin或config来向数据库写数据¶
mongod --fork 把mongod实例启动为后台进程
mongod --dbpath 指定实例的目录
mongod --logpath 指定实例的日志路径
mongod --shardsrv 把该实例启动为【分片集】的一个【分片】
mongod --replSet 该实例为【复本集】的一个实例
mongod --oplogSize 配置local数据库中oplog.rs集合的大小(单位M)。实例同步时,在多个实例之间进行同步时,oplog.rs集合用来存储数据库的改变。一旦建立该表大小就固定了,填满后如果又来了新的更改,后来的修改就覆盖前面的。由于在装集群时开始设置太小,后面插入操作又特别多,导致多实例同步跟不上oplog.rs表覆写的速度,造成too stale to 更新的错误。后面有更改oplig.rs大小的过程。
mongod --port 指定该实例启动的端口号
mongos mongos是为分片的mogodb集群作为路由服务的,说白了就是来了一个操作,我给你指定你到哪个分片上去执行。
mongos --configdb 指定分片集的config servers
mongos --dbpath 同上
mongos --logpath 同上
mongos --port 同上
mongos --fork 同上
为分片集开启一个配置服务(每台机器一个,如果有损坏,路由服务器可以读取其它配置服务)
mongod --configsvr --dbpath /data/dbmongo/config/data --port 21000 --logpath /data/dbmongo/config/log/config.log --fork
为分片集开启路由服务(每台机器一个,如果有损坏,程序可以调其它的路由继续工作)¶
mongos --configdb ip1:21000,ip2:21000,ip3:21000 --port 20000 --logpath /data/dbmongo/mongos/log/mongos.log --fork
开启每个分片对应的每个mongod数据库实例(每台机器上都有3个数据库实例)¶¶
mongod --shardsvr --replSet shard1 --port 22001 --dbpath /data/dbmongo/shard1/data --logpath /data/dbmongo/shard1/log/shard1.log --fork --oplogSize 10240 mongod --shardsvr --replSet shard2 --port 22002 --dbpath /data/dbmongo/shard2/data --logpath /data/dbmongo/shard2/log/shard2.log --fork --oplogSize 10240 mongod --shardsvr --replSet shard3 --port 22003 --dbpath /data/dbmongo/shard3/data --logpath /data/dbmongo/shard3/log/shard3.log --fork --oplogSize 10240
登录一个mongod数据实例,并初始化副本集¶
mongo 127.0.0.1:22001 use admin config = { _id:"复本名字", members:[ {_id:0,host:"ip1:22001",arbiterOnly:true}, {_id:1,host:"ip2:22001"}, {_id:2,host:"ip3:22001"} ] } rs.initiate(config);
在分片中加入相应的复本集¶
mongo 127.0.0.1:20000 use admin db.runCommand( { addshard : "shard1/ip1:22001,ip2:22001,ip3:22001"}); db.runCommand( { addshard : "shard2/ip1:22002,ip2:22002,ip3:22002"}); db.runCommand( { addshard : "shard3/ip1:22003,ip2:22003,ip3:22003"});
开启数据库分片并对集合进行分片¶¶
db.runCommand( { enablesharding :"数据库名"}); db.runCommand( { shardcollection : "数据库名.集合名",key : {_id: 1} } )
更改oplogSize值
oplogSize是设置的local数据库里的oplog.rs集合的大小,如果启动时oplogSize设置太小,一旦建立就不能再增大了。复本数据库一旦down掉一段时间,主数据库有可能把oplog.rs表填满之后又来了新的修改把表覆盖了,那么复本数据库再启起来就会一直处于Recovering状态,日志里提示too stale to catch up。这个时候可以:
1。把复本数据库全清掉,重新启动复本数据库实例,这样复本数据库会初始把主数据库里的数据全拷贝一遍。
2。把复本数据库全清掉,从主数据库里复制好data放过来并重启。(没试过)
3。在线的修改oplogSize的值,原理就是把数据库关掉后,启动成单实例的模式,然后删掉oplog.rs并重新建一个更大的oplog.rs。这个官方文档里有说明:Change the Size of the Oplog¶
更改步骤
- (可选)对于Primary节点,要降成非Primary节点
rs.stepDown()
- 关闭数据库
use admin db.shutdownServer()
- 启动为独立的数据库实例
mongod --port 22004 --dbpath /data/dbmongo/shard2/data --logpath /data/dbmongo/shard2/log/shard2.log --fork
- (可选)备份oplog.rs文件Back Up with mongodump¶
mongodump --db local --collection 'oplog.rs' --port 22004
- 把oplog.rs里最后更新的一条备份出来,新建oplog.rs,并导入备份的这一条。(以后复本集里的不同复本之间相互同步时,要找到本地的最后一次修改(备份的这一条),在其它oplog.rs里找到这一条,更新其之后的修改)
use local db = db.getSiblingDB('local') db.temp.drop() db.temp.save( db.oplog.rs.find( { }, { ts: 1, h: 1 } ).sort( {$natural : -1} ).limit(1).next() ) db.oplog.rs.drop() db.runCommand( { create: "oplog.rs", capped: true, siz10 * 1024 * 1024 * 1024) } ) db.oplog.rs.save( db.temp.findOne() )
- 关闭数据库并启动为集群的一个分片的复本集的一个复本。
use admin db.shutdownServer() mongod --shardsvr --replSet shard2 --port 22002 --dbpath /data/dbmongo/shard2/data --logpath /data/dbmongo/shard2/log/shard2.log --fork
too many open files错误
这个很有可能是由于unix系统对程序的资源使用限制造成的,具体可以参见文档:UNIX ulimit Settings¶
修改方法为修改/etc/security/limits.d/99-mongodb-nproc.conf
# Default limit for number of user’s processes to prevent # accidental fork bombs. # See rhbz #432903 for reasoning. # # * soft nproc 4096 # root soft nproc unlimited * soft nofile 64000 * hard nofile 64000 * soft fsize unlimited * hard fsize unlimited * soft cpu unlimited * hard cpu unlimited * soft nproc 64000 * hard nproc 64000
另外还有尽量不以root用户开启mongod实例等等,具体修改忘记了,大体是这样
http://www.lanceyan.com/tech/arch/mongodb_shard1.html
http://www.cnblogs.com/wilber2013/p/4154406.html