Linux DRBD集群
Linux DRBD
存储的类型:
DAS:direct Attached Storage
IED,USB,STAT,SCSI,SAS
NAS:Network Attached Storage
传输速度慢
SAN:Storage Area Network
价格比较贵
DRBD:Distributed Replicated Block Device,分布式复制块设备;
工作于内核中,跨主机的,基于软件实现的,非共享模式的,通过基于网络的镜像方式进行数据同步的块级别的存储设备;
工作过程:当我们要存数据时,会向内核发起系统调用,通过进程调度器进行调度以后加载相应的文件系统驱动程序,然后就可以获得磁盘上的数据了;DRBD就是在系统调用和驱动程序之间插了一脚,当有写相关的系统调用时,信号到达DRBD以后,会将数据分成两份,其中一份用来调用本机的相关驱动程序,而另一份会通过网卡设备发送到其他DRBD设备,其他DRBD设备通过网卡接收到以后,就会将数据交给自己的DRBD模块,然后由这个模块来讲数据写到自己本机的磁盘中,这个过程就像数据在两个主机之间复制一样;
DRBD特性:
实时镜像
对用户透明
可以基于同步或异步模式进行工作
DRBD的三种模式:
DRBD有三种模式用来确定数据是否已经同步到其他DRBD设备中;其中A模式是:由DRBD模块将数据发送到本机的网卡队列中就认为已经同步到其他DRBD设备中;B模式是:数据到达其他DRBD主机的网卡接收队列时,就认为已经同步到其他DRBD设备中;C模式是:数据到达其他DRBD设备的磁盘中时,才认为已经同步到其他DRBD设备中;
其中A为异步模式,性能最好,但是可靠性比较差;B为半同步模式,性能和可靠性居中;C为同步模式,性能比较差,但是可靠性最高;
DRBD设备一般为主从模式,同时只有一台DRBD设备可以读写数据相应的服务进程也只能在同一台主机上运行;
Disk Scheduler(磁盘调度器)实现的功能是将同一方向的操作(比如读和写就使不同方向),合并在一起然后统一进行操作,这样可以增加性能;
DRBD只是内核中的一段代码,就像iptables一样,如果想使用它就需要对其进行配置,所以我们一会儿会用到相应的客户端软件来完成具体配置;
工具:
drbdadm:对用户友好的配置工具;
DRBD一般都会与集群一起使用,每组DRBD设备都由“drbd resourse”进行定义:
Resource name:资源名称,使用ASCII命令,且必须唯一;
DRBD device:DRBD专有的设备文件/dev/drbd#,且主设备号(major)一般为147,次设备号从零开始依次递增;
Disk configuration:磁盘配置,各个主机上用于组成此drbd设备的磁盘或分区;且磁盘或分区大小应该相同;
Network configuration:网络配置,DRBD设备是通过网络接口来进行数据同步的,所以为了避免其占用太多的带宽导致其他数据拥塞,所以一般会对其带宽进行限制,并且定义其什么时候同步以及如何同步 ;
配置案例:关闭防火墙,(iptables -F)
配置前提:时间同步,基于主机名访问
安装软件包:
vim /etc/yum.repos.d/drbd.repo
[drbd]
name=drbd
baseurl=https://elrepo.org/linux/elrepo/el6/x86_64/
enabled=1
gpgcheck=0
yum install kmod-drbd84 drbd84-utils
配置文件:
/etc/drbd.conf
/etc/drbd.d/global_common.conf
global { }:为全局配置属性,定义DRBD自己的工作特性;
common{ }:为通用属性,定义多组DRBD设备通用特性;
*.res:资源特有的配置;
配置过程:
iptables -F
fdisk /dev/sdb
在各个设备上分别创建一个大小相同的磁盘分区,分区过程略!
openssl rand -base64 16 生成随机数,作为配置文件中消息校验的密钥;
vim /etc/drbd.d/global_common.conf
disk {
on-io-error detach; 当磁盘IO发生错误时就将其拆除;
resync-rate 512M; 设置数据同步速率;
}
net {
cram-hmac-alg "sha1"; 做消息校验时使用的算法;
shared-secret "c6O0ughi37L8DQoav9DNRA=="; 算法所使用的密钥;
}
vim /etc/drbd.d/mystore.res 添加DRBD设备资源;
resource mystore { 指定资源名称
device /dev/drbd0; 指定drbd设备
disk /dev/sdb1; 指定作为drbd设备的分区,根据分区不同,可能会有变化;
meta-disk internal; 指定元数据存储在本地磁盘
on clone1 {
address 192.168.80.131:7789; 指定节点地址
}
on clone2 {
address 192.168.80.134:7789;
}
}
scp /etc/drbd.d/* root@clone2:/etc/drbd.d/ 将本机的drbd配置文件复制到其他drbd设备上一份;
drbdadm create-md mystore 使用drbdadm创建drbd设备;
service drbd start
cat /proc/drbd
version: 8.4.11-1 (api:1/proto:86-101)
GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@Build64R6, 2018-09-28 19:18:36
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:5253020
根据输出结果可以得知:现在都是从节点,没有主节点,ds:Inconsistent/Inconsistent表示两个drbd设备中的数据还没有按位对齐;
drbdadm primary --force mystore 设置本节点为主节点
cat /proc/drbd
version: 8.4.11-1 (api:1/proto:86-101)
GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@Build64R6, 2018-09-28 19:18:36
0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
ns:678748 nr:0 dw:0 dr:680608 al:0 bm:0 lo:0 pe:1 ua:2 ap:0 ep:1 wo:f oos:4575132
[=>..................] sync'ed: 13.1% (4464/5128)M
finish: 0:01:54 speed: 39,872 (39,872) K/sec
输出信息显示:已经区分主从节点,并且正在进行数据同步更新;
version: 8.4.11-1 (api:1/proto:86-101)
GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@Build64R6, 2018-09-28 19:18:36
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:5253020 nr:0 dw:0 dr:5253692 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
上面信息是数据同步完成以后的内容;
mkfs.ext4 /dev/drbd0
mount /dev/drbd0 /media/
cp /etc/issue /media/
umount /media
drbdadm secondary mystore 将自己从主节点降为从节点
drbd-overview 查看DRBD状态
切换到另一个节点:
drbdadm primary mystore 将自己从从节点升为主节点
drbd-overview 查看DRBD状态
mount /dev/drbd0 /media/
ls /media/ 查看是否有之前复制到DRBD设备中的issue文件
Note:这两个文件可不是同一个文件,而是镜像的两个独立的文件;
Note:因为演示的是主从模式所以DRBD文件系统同时只能让主节点挂载使用,从节点无法进行任何操作;一般主主模式只在集群中使用;
更多的配置信息可以通过man drbd.conf来查看;
集群中实现DRBD primary节点故障以后自动切换到从节点,继续通过存储服务:
当主节点故障以后,从节点将自己升级为主节点,然后在自己本身启动之前的那个主节点上的那个进行写操作的进程;这个过程可以通过pacemaker来自动实现;下面将以mysql为例进行说明;
service corosync start
crm(live)ra# info ocf:linbit:drbd 查看集群中配置drbd的帮助信息
drbd_resource:指定DRBD设备名
start timeout=240
reload timeout=30
promote timeout=90 DRBD从secondary到primary
demote timeout=90 DRBD从primary到secondary
notify timeout=90
stop timeout=100
monitor_Slave timeout=20 interval=20 相当于secondary
monitor_Master timeout=20 interval=10 相当于primary
在集群中设置主从资源时,需要首先定义一个primitive资源,然后对这个primitive进行clone,就可以出现多份资源了;并且在定义DRBD资源时还要设置一些meta信息(比如:一共克隆几份,每个节点上能运行几份克隆资源,几主几从等):
clone-max:设置克隆的最大数量
clone-node-max:设置单个节点上克隆资源的最大数量
master-max:设置主资源的最大数量
master-node-max:设置单个节点上主资源的最大数量
crm(live)configure# primitive mystor ocf:linbit:drbd params drbd_resource="mystore" op monitor role="Master" interval=10s timeout=20s op monitor role="Slave" interval=20s timeout=20s op start timeout=240s op stop timeout=100s
设置primitive资源
crm(live)# ms ms_mystor mystor meta clone-max="2" clone-node-max="1" master-max="1" master-node-max="1" notify="true"
设置clone资源
crm(live)configure# verify
crm(live)configure# commit
crm(live)# status
2 nodes configured (2 expected votes)
2 resources configured
Online: [ clone1 clone2 ]
Full list of resources:
Master/Slave Set: ms_mystor [mystor]
Masters: [ clone2 ]
Slaves: [ clone1 ]
资源已经启动
[root@clone2 ~]# drbd-overview
NOTE: drbd-overview will be deprecated soon.
Please consider using drbdtop.
0:mystore/0 Connected Primary/Secondary UpToDate/UpToDate
现在DRBD可以通过集群自动完成节点之间主从切换了,接下来就是使其自动挂载文件系统了;
crm(live)configure# primitive mydata ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/MYDRBD" fstype="ext4" op monitor interval=20s timeout=40s op start timeout=60s op stop timeout=60s
添加一个文件系统资源
crm(live)configure# colocation mydata_with_ms_mytor_master inf: mydata ms_mystor:Master
配置文件系统资源依赖主从资源中的MASTER节点
crm(live)configure# order ms_mystor_master_then_mydata Mandatory: ms_mystor:promote mydata:start
配置当DRBD设备节点故障发生资源转移到其他节点时,首先完成DRBD从节点的提权(也就是从secondary到primary)然后再挂在文件系统;
crm(live)configure# verify
crm(live)configure# commit
crm(live)# status
2 nodes configured (2 expected votes)
3 resources configured
Online: [ clone1 clone2 ]
Full list of resources:
Master/Slave Set: ms_mystor [mystor]
Masters: [ clone2 ]
Slaves: [ clone1 ]
mydata (ocf::heartbeat:Filesystem): Started clone2
crm(live)# node standby clone2
crm(live)# status
2 nodes configured (2 expected votes)
3 resources configured
Node clone2: standby
Online: [ clone1 ]
Full list of resources:
Master/Slave Set: ms_mystor [mystor]
Masters: [ clone1 ]
Stopped: [ clone2 ]
mydata (ocf::heartbeat:Filesystem): Started clone1
crm(live)# node online clone2
Note:这个集群搭建完成以后,就算手动误操作将主节点上的DRBD设备服务停掉(service drbd stop),从节点也会顶替主节点继续提供服务;停掉以后建议的操作是:首先查看DRBD的状态(drbd-overview),如果状态没有发生错误(Secondary/Primary)直接执行 crm node clearstate node_name,将节点的错误信息清理一下即可,防止节点信息错乱发生更复杂的问题;如果发生了更严重的错误(状态为Secondary/Unknown或Primary/Unknown),则可以查看下面的错误总结进行修复;
接下来是将mariabd加入集群中:
当前为主节点的主机:clone1
yum install mysql
groupadd -r -g 306 mysql
useradd -r -u 306 -g mysql mysql
mkdir /MYDRBD/data
chown -R mysql:mysql /MYDRBD/data/
tar xf mariadb-5.5.62-linux-x86_64.tar.gz -C /usr/local/
cd /usr/local/
ln -sv mariadb-5.5.62-linux-x86_64/ mysql
cd mysql/
chown -R root.mysql ./*
scripts/mysql_install_db --user=mysql --datadir=/MYDRBD/data/
ls /MYDRBD/data/
cp support-files/mysql.server /etc/init.d/mysqld
chkconfig --add mysqld
chkconfig mysqld off
mkdir /etc/mysql
mv /etc/my.cnf /etc/my.cnf.bak
cp support-files/my-large.cnf /etc/mysql/my.cnf
vim /etc/mysql/my.cnf
datadir = /MYDRBD/data/
innodb_file_per_table = on
skip_name_resolve = on
service mysqld start
mysql
mysql>GRANT ALL ON *.* TO 'root'@'192.168.80.%' IDENTIFIED BY 'guowei';
mysql> FLUSH PRIVILEGES;
service mysqld stop
crm node standby 将自己将为从节点
scp -r /etc/mysql/ root@clone2:/etc/
当前为主节点的主机:clone2
yum install mysql
groupadd -r -g 306 mysql
useradd -r -u 306 -g mysql mysql
mkdir /MYDRBD/data
chown -R mysql:mysql /MYDRBD/data/
tar xf mariadb-5.5.62-linux-x86_64.tar.gz -C /usr/local/
cd /usr/local/
ln -sv mariadb-5.5.62-linux-x86_64/ mysql
cd mysql/
chown -R root.mysql ./*
cp support-files/mysql.server /etc/init.d/mysqld
chkconfig --add mysqld
chkconfig mysqld off
mkdir /etc/mysql
mv /etc/my.cnf /etc/my.cnf.bak
service mysqld start
mysql
mysql> CREATE DATABASE TESTDB; 创建了一个名为TESTDB的数据库;
mysql> SHOW DATABASES;
以上配置:mariadb已经共享存储数据库了!
接下来在集群中添加一个mysql资源:
crm(live)configure# primitive myip ocf:heartbeat:IPaddr params ip="192.168.80.12" op monitor interval=10s timeout=20s
添加一个ip资源,使之作为被外部主机访问的IP地址
crm(live)configure# primitive myserver lsb:mysqld op monitor interval=20s timeout=20s
添加一个msqld资源
crm(live)configure# colocation myip_with_ms_mystor_master inf: myip ms_mystor:Master
设置一个排列约束,使ip地址与DRBD主设备在一起
crm(live)configure# colocation myserver_with_mydata inf: myserver mydata
设置一个排列约束,使mysql和被挂载的文件系统在一起
crm(live)configure# order mydata_then_myserver Mandatory: mydata myserver
设置一个顺序约束,先挂载文件系统,然后再启动mysqld
crm(live)configure# order myip_then_myserver Mandatory: myip myserver
设置一个顺序约束,先设置ip地址,然后再启动mysqld
crm(live)configure# verify
crm(live)configure# commit
crm(live)# status
2 nodes configured (2 expected votes)
5 resources configured
Online: [ clone1 clone2 ]
Full list of resources:
Master/Slave Set: ms_mystor [mystor]
Masters: [ clone2 ]
Slaves: [ clone1 ]
mydata (ocf::heartbeat:Filesystem): Started clone2
myip (ocf::heartbeat:IPaddr): Started clone2
myserver (lsb:mysqld): Started clone2
大体情况就是:IP地址和被挂载的文件系统会先启动(其中DRBD设备的提权会在挂载文件系统之前),然后启动mysqld;文件系统资源和IP地址会跟DRBD主节点在一起,mysqld服务会跟文件系统资源在一起,当然也就跟DRBD主节点在一起啦!
mysql -uroot -h192.168.80.12 -p 进入mysql,查看之前创建的数据库TESTDB是否还在;
错误总结:
主节点信息:
[root@clone1 ~]# drbd-overview
NOTE: drbd-overview will be deprecated soon.
Please consider using drbdtop.
0:mystore/0 StandAlone Primary/Unknown UpToDate/DUnknown /MYDRBD ext4 4.9G 11M 4.6G 1%
从节点信息:
[root@clone2 ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.4.11-1 (api:1/proto:86-101)
GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@Build64R6, 2018-09-28 19:18:36
m:res cs ro ds p mounted fstype
0:mystore StandAlone Secondary/Unknown UpToDate/DUnknown r-----
本端无法识别对端的DRBD设备时,可以通过重新构建元数据的方式,事双方重新同步数据;
解决办法:
从节点操作:
[root@clone2 ~]# service drbd stop
[root@clone2 ~]# drbdadm create-md mystore
[root@clone2 ~]# drbd-overview
NOTE: drbd-overview will be deprecated soon.
Please consider using drbdtop.
0:mystore/0 SyncTarget Secondary/Secondary Inconsistent/UpToDate
[>....................] sync'ed: 4.9% (4884/5128)M
接下来等待数据同步完成就好停止,然后再进行上面的初始化;
Note:最好是在先将各个集群节点定
更多信息请查看官网:http://clusterlabs.org/pacemaker/doc/en-US/Pacemaker/2.0/html-single/Pacemaker_Explained/index.html
注:根据马哥视频做的学习笔记,如有错误,欢迎指正;侵删;