MongoDB分片搭建

在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。

从图中可以看到有四个组件：mongos、config server、shard、replica set。

mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。

config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！

shard，分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。

replica set，中文翻译副本集，其实就是shard的备份，防止shard挂掉之后数据丢失。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性，并可以保证数据的安全性。

仲裁者（Arbiter），是复制集中的一个MongoDB实例，它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备，不能将Arbiter部署在同一个数据集节点中，可以部署在其他应用服务器或者监视服务器中，也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员（包括primary），需要添加仲裁节点做为投票，否则primary不能运行时不会自动切换primary。

简单了解之后，我们可以这样总结一下，应用请求mongos来操作mongodb的增删改查，配置服务器存储数据库元信息，并且和mongos做同步，数据最终存入在shard（分片）上，为了防止数据丢失同步在副本集中存储了一份，仲裁在数据存储到分片的时候决定存储到哪个节点。

MongoDB安装

安装：参考我前一篇博客：MongoDB安装。

ubuntu18.04中MongoDB3.6.3相关说明

mongodb默认服务名为： mongod

mongodb默认的数据文件目录为： /var/lib/mongodb

mongodb默认的日志文件目录为： /var/log/mongodb

mongodb默认的配置文件为： /etc/mongod.conf

mongodb默认的端口为：27017

配置文件可指定日志(systemLog.path)和数据文件目录(storage.dbPath)，以及端口等。

mongodb默认的运行日志文件： /var/log/mongodb/mongod.log

简介

操作系统：Ubuntu18.04

版本号：MongoDB3.6.3

测试机器三台（IP）：　192.168.0.100

　　　　　　　　　　　192.168.0.101

　　　　　　　　　　　192.168.0.102

注意关闭防火墙

systemctl stop firewalld.service

MongoDB分片搭建

**服务器规划**
192.168.0.100	192.168.0.101	192.168.0.102
mongos	mongos	mongos
config server	config server	config server
shard1（主）	shard1（从）	shard1（仲裁）
shard2（仲裁）	shard2（主）	shard2（从）
shard3（从）	shard3（仲裁）	shard3（主）

端口分配

Mongos：20000

Config：21000

Shard1：27001

Shard2：27002

Shard3：27003

创建目录

分别在每台机器建立Config，Mongos，配置，Shard1，Shard2，Shard3六个目录，因为Mongos不存储数据，只需要建立日志文件目录即可。

mkdir -p /usr/local/mongodb/conf \
mkdir -p /usr/local/mongodb/mongos/log \
mkdir -p /usr/local/mongodb/config/data \
mkdir -p /usr/local/mongodb/config/log \
mkdir -p /usr/local/mongodb/shard1/data \
mkdir -p /usr/local/mongodb/shard1/log \
mkdir -p /usr/local/mongodb/shard2/data \
mkdir -p /usr/local/mongodb/shard2/log \
mkdir -p /usr/local/mongodb/shard3/data \
mkdir -p /usr/local/mongodb/shard3/log

配置环境变量

终端输入

vi /etc/profile

添加如下信息

# MongoDB 环境变量内容
export MONGODB_HOME=/usr/local/mongodb
export PATH=$MONGODB_HOME/bin:$PATH

使立即生效

source /etc/profile

config server配置服务器

(三台机器)添加配置文件

终端输入

vi /usr/local/mongodb/conf/config.conf

添加如下配置信息

## 配置文件内容
pidfilepath = /usr/local/mongodb/config/log/configsrv.pid
dbpath = /usr/local/mongodb/config/data
logpath = /usr/local/mongodb/config/log/congigsrv.log
logappend = true
 
bind_ip = 0.0.0.0
port = 21000
fork = true
 
#declare this is a config db of a cluster;
configsvr = true

#副本集名称
replSet = configs
 
#设置最大连接数
maxConns = 20000

启动三台服务器的config server

mongod -f /usr/local/mongodb/conf/config.conf

登录任意一台配置服务器，初始化配置副本集，连接 MongoDB

mongo --port 21000

config 变量

config = {
　　_id : "configs",
　　members : [
　　{_id : 0, host : "192.168.0.100:21000" },
　　{_id : 1, host : "192.168.0.101:21000" },
　　{_id : 2, host : "192.168.0.102:21000" }
　　]
　　}

初始化副本集

rs.initiate(config)

其中，"_id" : "configs"应与配置文件中配置的 replicaction.replSetName 一致，"members" 中的 "host" 为三个节点的 ip 和 port

查询状态

rs.status()

配置分片副本集

(三台机器)设置第一个分片副本集

终端输入

vi /usr/local/mongodb/conf/shard1.conf

添加如下配置信息

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid
dbpath = /usr/local/mongodb/shard1/data
logpath = /usr/local/mongodb/shard1/log/shard1.log
logappend = true

bind_ip = 0.0.0.0
port = 27001
fork = true
 
#副本集名称
replSet = shard1
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#设置最大连接数
maxConns = 20000

启动三台服务器的shard1 server

mongod -f /usr/local/mongodb/conf/shard1.conf

登陆任意一台服务器，初始化副本集(除了192.168.0.102，因为这是仲裁节点)

连接 MongoDB

mongo --port 27001

使用admin数据库

use admin

定义副本集配置

config = { 
_id : "shard1", 
members : [ 
{_id : 0, host : "192.168.0.100:27001" }, 
{_id : 1, host : "192.168.0.101:27001" }, 
{_id : 2, host : "192.168.0.102:27001" , arbiterOnly: true } 
] 
}

初始化副本集配置

rs.initiate(config)

(三台机器)设置第二个分片副本集

终端输入

vi /usr/local/mongodb/conf/shard2.conf

添加如下配置信息

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid
dbpath = /usr/local/mongodb/shard2/data
logpath = /usr/local/mongodb/shard2/log/shard2.log
logappend = true

bind_ip = 0.0.0.0
port = 27002
fork = true
 
#副本集名称
replSet=shard2
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#设置最大连接数
maxConns=20000

启动三台服务器的shard2 server

mongod -f /usr/local/mongodb/conf/shard2.conf

连接 MongoDB

mongo --port 27002

使用admin数据库

use admin

定义副本集配置

config = {
    _id : "shard2",
     members : [
         {_id : 0, host : "192.168.0.100:27002"  , arbiterOnly: true },
         {_id : 1, host : "192.168.0.101:27002" },
         {_id : 2, host : "192.168.0.102:27002" }
     ]
 }

初始化副本集配置

rs.initiate(config)

(三台机器)设置第三个分片副本集

终端输入

vi /usr/local/mongodb/conf/shard3.conf

添加如下配置信息

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid
dbpath = /usr/local/mongodb/shard3/data
logpath = /usr/local/mongodb/shard3/log/shard3.log
logappend = true

bind_ip = 0.0.0.0
port = 27003
fork = true

#副本集名称
replSet=shard3
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#设置最大连接数
maxConns=20000

启动三台服务器的shard3 server

mongod -f /usr/local/mongodb/conf/shard3.conf

连接 MongoDB

mongo --port 27003

使用admin数据库

use admin

定义副本集配置

config = {
    _id : "shard3",
     members : [
         {_id : 0, host : "192.168.0.100:27003" },
         {_id : 1, host : "192.168.0.101:27003" , arbiterOnly: true},
         {_id : 2, host : "192.168.0.102:27003" }
     ]
 }

初始化副本集配置

rs.initiate(config)

配置路由服务器 mongos

（三台机器）先启动配置服务器和分片服务器,后启动路由实例启动路由实例:

终端输入

vi /usr/local/mongodb/conf/mongos.conf

添加如下配置信息

#内容
pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid
logpath = /usr/local/mongodb/mongos/log/mongos.log
logappend = true

bind_ip = 0.0.0.0
port = 20000
fork = true

#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字
configdb = configs/192.168.0.100:21000,192.168.0.101:21000,192.168.0.102:21000
 
#设置最大连接数
maxConns = 20000

启动三台服务器的mongos server

mongos -f /usr/local/mongodb/conf/mongos.conf

串联路由服务器

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。

登陆任意一台mongos

mongo --port 20000

使用admin数据库

use  admin

串联路由服务器与分配副本集

sh.addShard("shard1/192.168.0.100:27001,192.168.0.101:27001,192.168.0.102:27001");
sh.addShard("shard2/192.168.0.100:27002,192.168.0.101:27002,192.168.0.102:27002");
sh.addShard("shard3/192.168.0.100:27003,192.168.0.101:27003,192.168.0.102:27003");

查看集群状态

sh.status()

启用集合分片生效

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。

登陆任意一台mongos

mongo --port 20000

使用管理数据库

use  admin

指定TESTDB分片生效

db.runCommand( { enablesharding :"testdb"});

指定数据库里需要分片的集合和片键，哈希id分片

db.runCommand( { shardcollection : "testdb.table1",key : {"id": "hashed"} } );

我们设置testdb的table1表需要分片，根据id自动分片到shard1，shard2，shard3上面去。要这样设置是因为不是所有mongodb的数据库和表都需要分片！

测试分片配置结果

连接MongoDB路由服务

mongo  127.0.0.1:20000

切换到testdb数据库

use  testdb;

插入测试数据

for(i=1;i<=100000;i++){db.table1.insert({"id":i,"name":"penglei"})};

总条数

db.table1.aggregate([{$group : {_id : "$name", totle : {$sum : 1}}}])

查看分片情况如下

shard1： “count”：33755
shard2： “count”：33143
shard3： “count”：33102

结论数据基本均匀

db.table1.stats();

创建索引

db.table1.createIndex({"name":1})
db.table1.getIndexes()

启动

MongoDB中的启动顺序是，先启动配置服务器，在启动分片，最后启动mongos。

mongod -f /usr/local/mongodb/conf/config.conf
mongod -f /usr/local/mongodb/conf/shard1.conf
mongod -f /usr/local/mongodb/conf/shard2.conf
mongod -f /usr/local/mongodb/conf/shard3.conf
mongos -f /usr/local/mongodb/conf/mongos.conf

启动报错

about to fork child process, waiting until server is ready for connections.
forked process: 3067
ERROR: child process failed, exited with error number 1
To see additional information in this output, start without the "--fork" option.

删除mongod.lock

cd /usr/local/mongodb/shard1/data
rm -rf mongod.lock

关闭防火墙（不关防火墙也会遇到这样的问题）

systemctl stop firewalld.service

连接MongoDB路由服务

mongo  127.0.0.1:20000

关闭

#debian、ubuntu系统下：

apt-get install psmisc

#centos或、rhel系统下：

yum install psmisc

直接killall杀掉所有进程

killall mongod
killall mongos

参考：http://www.ymq.io/2018/01/30/MongoDB-3/

posted @ 2019-03-05 08:42 iDataSharing 阅读(1586) 评论(0) 编辑收藏举报

刷新页面返回顶部

genghenggao

MongoDB分片搭建

在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。

从图中可以看到有四个组件：mongos、config server、shard、replica set。

MongoDB安装

ubuntu18.04中MongoDB3.6.3相关说明

简介

MongoDB分片搭建

端口分配

创建目录

配置环境变量

config server配置服务器

配置分片副本集

配置路由服务器 mongos

串联路由服务器

启用集合分片生效

启动

关闭

公告