MongoDB 3.4 分片 由副本集组成

要在真实环境中实现MongoDB分片至少需要四台服务器做分片集群服务器,其中包含两个Shard分片副本集(每个包含两个副本节点及一个仲裁节点)、一个配置副本集(三个副本节点,配置不需要仲裁节点),其中Shard的副本节点必须拥有单独的服务器,通常一个Shard副本集由3个以上副本节点组成更好,奇数个副本节点不需要额外配置仲裁节点。因为仲裁节点和配置节点不需要耗费很多的资源,可以与其他进程共享一台服务器。

当然了,对于平时学习而言,配置那么多服务器是不现实的,用VM虚拟机也不现实,毕竟MongoDB内存开销不小,所以暂时将所有需要的数据库配置在同一台电脑,以不同端口区分,其中包含以下几个数据库

Shard节点

  Shard-a-1 端口 37001

  Shard-a-2 端口 37002

  Shard-a-3 端口 37003

--------------------------------------------------------------------  

   Shard-b-1 端口 37011

   Shard-b-2 端口 37012

   Shard-b-3 端口 37013

 

Config节点

  Config-1 端口 41001

  Config-2 端口 41002

  Config-3 端口 41003

 

Router节点

  Router 端口 50000

文件目录大概如下,其中router中的config改为 mongos.cfg

其中Shard节点和Config节点和开启普通MongoDB数据库一样,用Mongod启动,在Windows下不能使用 fork参数后台化,个人更推荐使用Service来托管

其中Shard节点的配置如下,每个文件夹下对应的配置把dbpath/logpath/replSet(shard-a和shard-b)改掉,因为要开启多个db所以httpinterface设置为false,不开启监听,否则每个db都会对应多一个端口号+1000的监听端口,37002的监听端口为38002 

dbpath=D:\mongodatas\shard-a2\data
logpath=D:\mongodatas\shard-a2\log\mongod.log
logappend=true
directoryperdb=true
rest=true
httpinterface=false
port=37002
shardsvr=true
replSet=shard-a

Config节点的配置如下,与shard节点的区别就是shardsvr换成了configsvr,配置服务器是不会开启监听端口的

dbpath=D:\mongodatas\config1\data
logpath=D:\mongodatas\config1\log\mongod.log
logappend=true
directoryperdb=true
rest=true
port=41001
configsvr=true
replSet=configset

接下来以托管到Service的方式启动所有的Shard节点和Config节点,以下只是启动其中一个,一共有九个(shard-a有3个,shard-b有3个,config有3个),在命令提示符(管理员) 的窗口执行,普通权限会报错的,下文用到Service的一样

sc create MongoShardA1 binPath= "C:\Program Files\MongoDB\Server\3.4\bin\mongod.exe --config=D:\mongodatas\shard-a1\mongod.cfg --service"
net start MongoShardA1

使用命令  services.msc打开服务窗口查看服务是否开启或者使用 netstat -nao指令查端口是否开启,如果全都正常开启,则开始配置Shard副本集

任意连接shard-a中服务器 (37001/37002/37003)打开MongoDB Shell

mongo --port 37001

对副本集进行初始化,如果对rs方法不熟悉,可以使用rs.help()显示帮助文档

rs.initiate()

此时发现37001端口的命令输入已经成为了副本集的形式,接下来添加另外两个成员,一个副本节点,一个仲裁节点

rs.add("localhost:37002")
rs.add("localhost:37003",{arbiterOnly:true})

最好使用本机的内网地址,而不是使用localhost或者127.0.0.1

 接下来查看副本集是否运行正常

rs.status()

退出现有MongoDB Shell或者开启新的CMD进入Shard-b中任意服务器对Shard-b副本集进行初始化,进入Config副本集任意服务器对Config副本集进行初始化,注意Config副本集进行初始化的时候不需要指定仲裁节点

以上所有操作,对Config副本集进行初始化非常重要,网上有很多示例都没有对Config副本集进行初始化,会导致mongos服务无法开启,连接不上router服务器

现在开始配置router的配置mongos.cfg

configdb=configset/DESKTOP-4NVUAKK:41001,192.168.20.229:41002,192.168.20.229:41003
logpath=D:\mongodatas\router\log\mongod.log
logappend=true
port=50000

注意configdb的配置,新版本里面采用 replSet/hsot:port,host:port的形式,其中host必须采用config副本集里面rs.status()出来的members中的name,否则会执行失败,如果configdb中的副本集没有执行初始化设定Primary ,此时用Service是无法启动成功的,但是用指令启动会给人一种启动成功的假象,查看router对应的日志会发现一只在尝试连接Config副本集: No primary detected for set configset,此时查看任务管理器会发现有mongos的进程,查看端口会发现router的端口并未打开 

 

以托管到Service的方式开始Router服务

sc create MongoRouter binPath= "C:\Program Files\MongoDB\Server\3.4\bin\mongos.exe --config=D:\mongodatas\shard-a1\mongos.cfg --service"
net start MongoRouter

注意上面的执行程序是mongos而不是mongod 配置文件名不要弄错了

正常启动Router服务器之后,连接到router数据库的MongoDB Shell

mongo --port 50000

开始为router指定分片副本集,具体操作如截图所示

sh.addShard("replSet/host:port,host:port")

注意不要使用localhost或者127.0.0.1,否则会报错

使用与副本集Members里面name不一致的host也是会报错的

正常情况下添加成功如下

查看数据库config中的shards集合

db.getSiblingDB("config").shards.find() 或者 db.runCommand({listshards:1})

 到现在为止,分片环境已经搭建成功,但要引用到数据库和文档上,还需要对数据库和文档进行分片

 

 

 开启一个数据库上的分片,这是对任何集合进行分片的先决条件

sh.enableSharding("dbName") 

完成之后去config里查看是否分片

db.getSiblingDB("config").databases.find()

 

对数据库上的某个集合进行分片,要定义一个分片键,可以使用组合分片建,像我使用的是author和_id的组合,如果是对现有集合进行分片,必须在运行shardcollection命令前创建一个与分片键对应的索引

sh.shardCollection("dbName.collectionName",{key1:1,key2:1})

db.getSiblingDB("config").collections.find()

 

对空集合进行、分片时 MongoDB会字每个分片上创建一个与分片键对应的索引,可以直接连接分片,用getIndexes()验证,此时数据量还没达到分片标准啊,分片shard-a副本集还没有创建books

 

用客户端连接router服务器(和连接普通服务器一样)插入大量数据,调用sh.status()可以看到分配到两个shard上保存了

db.chunks.count("shard","shard-a")

db.chunks.count("shard","shard-b")

 

查看拆分次数

db.changelog.count({what:"split"}) 

查看迁移次数

db.changelog.find({what:"moveChunk.commit"}).count()

 

可以通过db.books.find(****).explain() 查看执行计划

如果查询条件包含分片键,则能很快找到对应分区 针对性查询,否则将遍历所有分区 全局/分散/聚集查询

 

db.books.ensureIndex({title:1}) 在title上创建索引

 

每个分片都维护自己的索引,每个分片上的分片集合都应该拥有相同的索引

分片集合只允许在_id字段和分片键上添加唯一索引

分片键是不可以修改的,不要使用升序分片键,粒度不能太细(如照片就不应该按md5分,而应该按所属人分)

 

副本集的每个成员都应该在一个单独的服务器上,用于复制的成员要有自己的机器,

仲裁节点和配置节点可以与其他进程共享主机,但需要部署在不同服务器

少数大分片比大量小分片好

 

手动块拆分

sh.splitAt("dbname.collectionName",{key,value,key:value}) 根据key分块  value是数据库中的值,根据这个值拆分成两块

sh.moveChunk("dbname.collectionName",{key,value},"shardB") 将包含key为value的文档移动到分片B

 

posted @ 2017-09-01 15:34  Everglow  阅读(2140)  评论(0编辑  收藏  举报