mongdb分片
实验环境
主机 IP 虚拟通道
centos1 192.168.3.10 vmnet8
centos2 192.168.3.11 vmnet8
centos3 192.168.3.12 vmnet8
从图中可以看到有四个组件：mongos、config server、shard、replica set。
mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。
config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，这个可不能丢失！就算挂掉其中一台，只要还有存货， mongodb集群就不会挂掉。
shard，这就是传说中的分片了。上面提到一个机器就算能力再大也有天花板，就像军队打仗一样，一个人再厉害喝血瓶也拼不过对方的一个师。俗话说三个臭皮匠顶个诸葛亮，这个时候团队的力量就凸显出来了。在互联网也是这样，一台普通的机器做不了的多台机器来做，如下图：
一台机器的一个数据表 Collection1 存储了 1T 数据，压力太大了！在分给4个机器后，每个机器都是256G，则分摊了集中在一台机器的压力。也许有人问一台机器硬盘加大一点不就可以了，为什么要分给四台机器呢？不要光想到存储空间，实际运行的数据库还有硬盘的读写、网络的IO、CPU和内存的瓶颈。在mongodb集群只要设置好了分片规则，通过mongos操作数据库就能自动把对应的数据操作请求转发到对应的分片机器上。在生产环境中分片的片键可要好好设置，这个影响到了怎么把数据均匀分到多个分片机器上，不要出现其中一台机器分了1T，其他机器没有分到的情况，这样还不如不分片！
replica set，其实上图4个分片如果没有 replica set 是个不完整架构，假设其中的一个分片挂掉那四分之一的数据就丢失了，所以在高可用性的分片架构还需要对于每一个分片构建 replica set 副本集保证分片的可靠性。生产环境通常是 2个副本 + 1个仲裁。
搭建过程：
分别在每台服务器上创建mongos 、config 、 shard1 、shard2、shard3 五个目录。
因为mongos不存储数据，只需要建立日志文件目录即可。
规划5个组件对应的端口号，由于一个机器需要同时部署 mongos、config server 、shard1、shard2、shard3，所以需要用端口进行区分。
这个端口可以自由定义，在本文 shard1为 1001 ， shard2为1002， shard3为1003.
config server 为1004， mongos为 1005，
第一、创建配置文件目录和先关准备工作
service iptables stop
setenforce 0
mkdir /data
cd /data/
以上操作3台服务器都要操作
在第一台mongo服务器上操作
创建目录和文件
mkdir /data/{config,shard1,shard2,shard3,mongos,logs,configsvr,keyfile} -pv
touch /data/keyfile/zxl
touch /data/logs/shard{1..3}.log
touch /data/logs/{configsvr,mongos}.log
touch /data/config/shard{1..3}.conf
touch /data/config/{configsvr,mongos}.conf
cd /opt/
tar xf mongodb-linux-x86_64-rhel62-3.2.7.tgz
mv mongodb-linux-x86_64-rhel62-3.2.7 /data/mongodb
配置环境变量
echo "export PATH=$PATH:/data/mongodb/bin" >> ~/.bash_profile
source ~/.bash_profile
二、创建shard配置文件
vim /data/config/shard1.conf
systemLog:
destination: file
path: /data/logs/shard1.log
logAppend: true
processManagement:
fork: true
pidFilePath: "/data/shard1/shard1.pid"
net:
port: 10001
storage:
dbPath: "/data/shard1"
engine: wiredTiger
journal:
enabled: true
directoryPerDB: true
operationProfiling:
slowOpThresholdMs: 10
mode: "slowOp"
#security:
# keyFile: "/data/keyfile/zxl"
# clusterAuthMode: "keyFile"
replication:
oplogSizeMB: 50
replSetName: "shard1_zxl"
secondaryIndexPrefetch: "all"
vim /data/config/shard2.conf
systemLog:
destination: file
path: /data/logs/shard2.log
logAppend: true
processManagement:
fork: true
pidFilePath: "/data/shard2/shard2.pid"
net:
port: 10002
storage:
dbPath: "/data/shard2"
engine: wiredTiger
journal:
enabled: true
directoryPerDB: true
operationProfiling:
slowOpThresholdMs: 10
mode: "slowOp"
#security:
# keyFile: "/data/keyfile/zxl"
# clusterAuthMode: "keyFile"
replication:
oplogSizeMB: 50
replSetName: "shard2_zxl"
secondaryIndexPrefetch: "all"
vim /data/config/shard3.conf
systemLog:
destination: file
path: /data/logs/shard3.log
logAppend: true
processManagement:
fork: true
pidFilePath: "/data/shard3/shard3.pid"
net:
port: 10003
storage:
dbPath: "/data/shard3"
engine: wiredTiger
journal:
enabled: true
directoryPerDB: true
operationProfiling:
slowOpThresholdMs: 10
mode: "slowOp"
#security:
# keyFile: "/data/keyfile/zxl"
# clusterAuthMode: "keyFile"
replication:
oplogSizeMB: 50
replSetName: "shard3_zxl"
secondaryIndexPrefetch: "all"
在每一台服务器上配置配置服务器
vim /data/config/configsvr.conf
systemLog:
destination: file
path: /data/logs/configsvr.log
logAppend: true
processManagement:
fork: true
pidFilePath: "/data/configsvr/configsvr.pid"
net:
port: 10004
storage:
dbPath: "/data/configsvr"
engine: wiredTiger
journal:
enabled: true
#security:
# keyFile: "/data/keyfile/zxl"
# clusterAuthMode: "keyFile"
sharding:
clusterRole: configsvr
在每一台服务器上配置mongos服务器
vim /data/config/mongos.conf
systemLog:
destination: file
path: /data/logs/mongos.log
logAppend: true
processManagement:
fork: true
pidFilePath: /data/mongos/mongos.pid
net:
port: 10005
sharding:
configDB: 192.168.3.10:10004,192.168.3.11:10004,192.168.3.12:10004
#security:
# keyFile: "/data/keyfile/zxl"
# clusterAuthMode: "keyFile"
cd /data/config
[root@localhost config]# scp * 192.168.3.11:/data/config
[root@localhost config]# scp * 192.168.3.12:/data/config
启动各个机器节点的mongod，shard1、shard2、shard3
[mongodb@localhost ~]$ /data/mongodb/bin/mongod -f /data/config/shard1.conf
about to fork child process, waiting until server is ready for connections.
forked process: 26911
child process started successfully, parent exiting
[mongodb@localhost ~]$ /data/mongodb/bin/mongod -f /data/config/shard2.conf
about to fork child process, waiting until server is ready for connections.
forked process: 26935
child process started successfully, parent exiting
[mongodb@localhost ~]$ /data/mongodb/bin/mongod -f /data/config/shard3.conf
about to fork child process, waiting until server is ready for connections.
forked process: 26958
child process started successfully, parent exiting
三、初始化副本集
登陆第一个mongo服务器，连接mongo
[mongodb@localhost ~]$ /data/mongodb/bin/mongo 127.0.0.1:10001
use admin #切换数据库
config = { _id:"shard1_zxl", members:[
{_id:0,host:"192.168.3.10:10001"},
{_id:1,host:"192.168.3.11:10001"},
{_id:2,host:"192.168.3.12:10001",arbiterOnly:true}
]
}
#上边的配置是定义副本集配置
rs.initiate(config);
{ "ok" : 1 }
#初始化副本集配置
登陆第二个mongo服务器，连接mongo
[mongodb@localhost ~]$ /data/mongodb/bin/mongo 127.0.0.1:10002
use admin #切换数据库
config = { _id:"shard2_zxl", members:[
{_id:0,host:"192.168.3.11:10002"},
{_id:1,host:"192.168.3.12:10002"},
{_id:2,host:"192.168.3.10:10002",arbiterOnly:true}
]
}
rs.initiate(config);
{ "ok" : 1 }
登陆第三个mongo服务器，连接mongo
/data/mongodb/bin/mongo 127.0.0.1:10003
use admin #切换数据库
config = { _id:"shard3_zxl", members:[
{_id:0,host:"192.168.3.12:10003"},
{_id:1,host:"192.168.3.10:10003"},
{_id:2,host:"192.168.3.11:10003",arbiterOnly:true}
]
}
rs.initiate(config);
{ "ok" : 1 }
启动三台服务器的configsvr和mongos节点
[root@localhost ~]# /data/mongodb/bin/mongod -f /data/config/configsvr.conf
about to fork child process, waiting until server is ready for connections.
forked process: 3028
child process started successfully, parent exiting
三台服务器全部启动configsvr后在启动mongos
启动三台服务器的mongos服务器
/data/mongodb/bin/mongos -f /data/config/mongos.conf
about to fork child process, waiting until server is ready for connections.
forked process: 11683
child process started successfully, parent exiting
第四、配置分片
在第一台服务器上配置分片
/data/mongodb/bin/mongo 127.0.0.1:10005
mongos> use admin
mongos>db.runCommand({addshard:"shard1_zxl/192.168.3.10:10001,192.168.3.11:10001,192.168.3.12:10001"});
"shardAdded" : "shard1_zxl", "ok" : 1 }
mongos>db.runCommand({addshard:"shard2_zxl/192.168.3.10:10002,192.168.3.11:10002,192.168.3.12:10002"});
{ "shardAdded" : "shard2_zxl", "ok" : 1 }
mongos>db.runCommand({addshard:"shard3_zxl/192.168.3.10:10003,192.168.3.11:10003,192.168.3.12:10003"});
{ "shardAdded" : "shard2_zxl", "ok" : 1 }
查看shard信息
mongos> sh.status();
shards:
{ "_id" : "shard1_zxl", "host" : "shard1_zxl/192.168.3.10:10001,192.168.3.11:10001" }
{ "_id" : "shard2_zxl", "host" : "shard2_zxl/192.168.3.11:10002,192.168.3.12:10002" }
{ "_id" : "shard3_zxl", "host" : "shard3_zxl/192.168.3.10:10003,192.168.3.12:10003" }
启用shard分片的库名字为'zxl'，即为库
mongos>sh.enableSharding("zxl");
{ "ok" : 1 }
测试：
设置集合的名字以及字段，默认自动建立索引，zxl库，haha集合
mongos> sh.shardCollection("zxl.haha",{age: 1, name: 1})
{ "collectionsharded" : "zxl.haha", "ok" : 1 }
mongos> use zxl
mongos> for (i=1;i<=10000;i++) db.haha.insert({name: "user"+i, age: (i%150)})
WriteResult({ "nInserted" : 1 })
查看分片状态
mongos> sh.status();
zxl的数据分别存储到了3个shard数据当中
验证：
我们分别登陆3台服务器上的10005
/data/mongodb/bin/mongo 127.0.0.1:10005
shard1_zxl:PRIMARY> use zxl
switched to db zxl
shard1_zxl:PRIMARY> db.haha.find()
{ "_id" : ObjectId("5a0cf9af8ee2c0b83345ac89"), "name" : "user1", "age" : 1 }
{ "_id" : ObjectId("5a0cf9b08ee2c0b83345ac8a"), "name" : "user2", "age" : 2 }
..........
{ "_id" : ObjectId("5a0cf9b18ee2c0b83345ac9c"), "name" : "user20", "age" : 20 }
Type "it" for more
我们发现数据是一样的
我们分别登陆第一台10001
[root@CentOS6-node1 ~]# /data/mongodb/bin/mongo 127.0.0.1:10001
shard1_zxl:PRIMARY> use zxl
switched to db zxl
shard1_zxl:PRIMARY> db.haha.find()
{ "_id" : ObjectId("5a0d006a5514f2862537a50c"), "name" : "user22", "age" : 22 }
{ "_id" : ObjectId("5a0d006a5514f2862537a50d"), "name" : "user23", "age" : 23 }
{ "_id" : ObjectId("5a0d006a5514f2862537a50e"), "name" : "user24", "age" : 24 }
................
{ "_id" : ObjectId("5a0d006d5514f2862537a51d"), "name" : "user39", "age" : 39 }
{ "_id" : ObjectId("5a0d006d5514f2862537a51e"), "name" : "user40", "age" : 40 }
{ "_id" : ObjectId("5a0d006d5514f2862537a51f"), "name" : "user41", "age" : 41 }
登陆第二台的10002
[root@CentOS6-node1 ~]# /data/mongodb/bin/mongo 127.0.0.1:10002
shard2_zxl:PRIMARY> use zxl
switched to db zxl
shard2_zxl:PRIMARY> db.haha.find()
{ "_id" : ObjectId("5a0d006a5514f2862537a4f7"), "name" : "user1", "age" : 1 }
{ "_id" : ObjectId("5a0d006e5514f2862537a58c"), "name" : "user150", "age" : 0 }
...........
{ "_id" : ObjectId("5a0d006f5514f2862537a9a7"), "name" : "user1201", "age" : 1 }
{ "_id" : ObjectId("5a0d006f5514f2862537a9a8"), "name" : "user1202", "age" : 2 }
登陆第三台的10003
shard3_zxl:PRIMARY> use zxl
switched to db zxl
shard3_zxl:PRIMARY> db.haha.find()
{ "_id" : ObjectId("5a0d006a5514f2862537a4f8"), "name" : "user2", "age" : 2 }
{ "_id" : ObjectId("5a0d006a5514f2862537a4f9"), "name" : "user3", "age" : 3 }
{ "_id" : ObjectId("5a0d006a5514f2862537a4fa"), "name" : "user4", "age" : 4 }
......
{ "_id" : ObjectId("5a0d006a5514f2862537a507"), "name" : "user17", "age" : 17 }
{ "_id" : ObjectId("5a0d006a5514f2862537a508"), "name" : "user18", "age" : 18 }
{ "_id" : ObjectId("5a0d006a5514f2862537a509"), "name" : "user19", "age" : 19 }
{ "_id" : ObjectId("5a0d006a5514f2862537a50a"), "name" : "user20", "age" : 20 }
{ "_id" : ObjectId("5a0d006a5514f2862537a50b"), "name" : "user21", "age" : 21 }
这说明数据是被分片存储的。
