3 构建Mysql+heartbeat+DRBD+LVS集群应用系统系列之heartbeat的搭建
preface
在上节的说了mysql的搭建，这节我们在上节的基础上，继续搭建heartbeat。
安装和配置heartbeat
采用yum安装，dbmaster81和dbbackup136上都安装，安装命令如下：
[root@dbmaster81 ~]# rpm -vih http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm # 先安装这个yum源
[root@dbmaster81 ~]# yum -y install heartbeat heartbeat-devel heartbeat-stonith heartbeat-pils
安装完成后，在dbmaster81上copy配置文件即可，dbmaster81配置完成后再scp给dbbackup136.
[root@dbmaster81 ha.d]# cp /usr/share/doc/heartbeat-3.0.4/ha.cf /etc/ha.d/ #heartbeat主配置文件
[root@dbmaster81 ha.d]# cp /usr/share/doc/heartbeat-3.0.4/haresources /etc/ha.d/ #资源信息定义文件
[root@dbmaster81 ha.d]# cp /usr/share/doc/heartbeat-3.0.4/authkeys /etc/ha.d/ # 心跳检测使用的认证文件，需要设置文件权限必须为600。
[root@dbmaster81 ha.d]# chmod 600 /etc/ha.d/authkeys # 必须是600权限
[root@dbmaster81 ha.d]# cp /etc/init.d/mysqld /etc/ha.d/resource.d/ # 把mysqld脚本复制到heartbeat下面，这样受heartbeat控制。
修改配置文件。
主配置文件
[root@dbmaster81 ha.d]# cat /etc/ha.d/ha.cf
logfile /var/log/ha-log #指定heartbeat日志文件的位置
keepalive 1 # 心跳发送时间间隔
deadtime 15 # 备用节点15s内没有检测到master机的心跳，确认对方故障
warntime 5 # 警告5次
initdead 30 # 守护进程启动30s后，启动服务资源。
ucast eth0 172.16.22.136 # 另一台主机节点eth0的地址，注意是另一台。
auto_failback off # 当primary节点切换到secondary节点之后，primary节点恢复正常，不进行切回操作，因为切换一次mysql master成本很高。
node dbmaster81 # 定义两个节点的主机名，一行写一个
node dbbackup136
respawn hacluster /usr/lib64/heartbeat/ipfail #开启dopd功能
respawn hacluster /usr/lib64/heartbeat/dopd
apiauth ipfail gid=haclient uid=hacluster
apiauth dopd gid=haclient uid=hacluster
认证文件：
[root@dbmaster81 ha.d]# grep -v ^# /etc/ha.d/authkeys
auth 1 #默认配置，去掉注释即可
1 sha1 HA_DB # 使用sha验证，密码为HA_DB
资源说明文件：
[root@dbmaster81 ha.d]# grep -v ^# /etc/ha.d/haresources
dbmaster81 drbddisk::r0 Filesystem::/dev/drbd0::/database mysqld IPaddr::172.16.22.250/24/eth0
参数解释：
- dbmaster81
这个是在ha.cf里面node参数指明的，两者必须一致。 - 192.168.22.250/24/eth0
这是个VIP，在两台主机之间漂移 - drbddisk
这是一个管理drbd的脚本，heartbeat默认提供这个脚本文件，可以在/etc/ha.d/resource.d目录下找到。r0是一个启动资源，在DRBD配置文件中定义，通过“drbddisk::0”可以切换到drbd主机为primary节点或secondary节点，只有状态Primary节点才可以挂载DRBD分区。drbddisk脚本相当于执行了“drbdadm primary r0”，表示把DRBD资源的角色进行变更。 Filesystem::/dev/drbd0::/database
表示把/dev/drbd0设备挂载到/database分区下。
DRBDDISK脚本
[root@dbmaster81 ~]# vim /etc/ha.d/resource.d/drbddisk
69 $DRBDADM --force primary $RES && break
# 第69行，添加--force，使其强制成为Primary，如果不加的话，当master通过断电关机或者直接拔网线后，backup无法启动VIP以及drbd的，人工执行这个drbddisk脚本也是报错的，提示 State change failed: (-7) Refusing to be Primary while peer is not outdated ,导致无法切换。
我们把上面配好的四个配置文件（/ha.cf，/etc/ha.d/authkeys，/etc/ha.d/haresources，/etc/ha.d/resource.d/drbddisk）复制到172.16.22.136(dbbackup136)上面。但是需要改ha.cf配置文件里的ucast参数。改成dbbackup136自身的,还有haresources的dbmaster81，需要改成另一台备份服务器的主机名，由dbmaster81改为dbbackup136。
Notice
mysql不需要开机自启动，drbd和heartbeat需要开机自启动。
[root@dbmaster81 ~]# chkconfig --list |grep -E "heartbeat|mysqld|drbd"
drbd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
heartbeat 0:off 1:off 2:on 3:on 4:on 5:on 6:off
mysqld 0:off 1:off 2:off 3:off 4:off 5:off 6:off
启动heartbeat
在172.16.22.81上启动
[root@dbmaster81 ha.d]# service heartbeat start # 启动报错
Starting High-Availability services: CRITICAL: Resource drbddisk::r0 is active, and should not be!
CRITICAL: Non-idle resources can affect data integrity!
info: If you don't know what this means, then get help!
info: Read the docs and/or source to /usr/share/heartbeat/ResourceManager for more details.
CRITICAL: Resource drbddisk::r0 is active, and should not be!
CRITICAL: Non-idle resources can affect data integrity!
info: If you don't know what this means, then get help!
info: Read the docs and/or the source to /usr/share/heartbeat/ResourceManager for more details.
CRITICAL: Non-idle resources will affect resource takeback!
CRITICAL: Non-idle resources may affect data integrity!
Done.
[root@dbmaster81 ha.d]# service heartbeat status # 如没有启动成功，那么走下面的解决方法
解决方法
[root@dbmaster81 ha.d]# service mysqld stop
Stopping mysqld: [ OK ]
[root@dbmaster81 ha.d]# umount /database/
[root@dbmaster81 /]# service drbd stop
[root@dbmaster81 ha.d]# service heartbeat start
两者都启动后，检测是否有VIP，heartbeat是否成功启动
[root@dbmaster81 /]# ip a |grep 'inet' #检测IP是否有
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
inet 172.16.22.81/24 brd 172.16.22.255 scope global eth0
inet 172.16.22.250/24 scope global eth0
inet6 fe80::20c:29ff:fecb:9149/64 scope link
[root@dbmaster81 ~]# tail -f /var/log/ha-log # 查看日志是否正常启动
'''
ip-request-resp(default)[11422]: 2016/11/21_18:13:20 received ip-request-resp drbddisk::r0 OK yes
ResourceManager(default)[11443]: 2016/11/21_18:13:20 info: Acquiring resource group: dbmaster81 drbddisk::r0 Filesystem::/dev/drbd0::/database mysqld IPaddr::192.168.22.250/24/eth0 # 开始执行这条语句在haresource
ResourceManager(default)[11443]: 2016/11/21_18:13:20 info: Running /etc/ha.d/resource.d/drbddisk r0 start # 启动drbd
/usr/lib/ocf/resource.d//heartbeat/Filesystem(Filesystem_/dev/drbd0)[11507]: 2016/11/21_18:13:20 INFO: Resource is stopped
ResourceManager(default)[11443]: 2016/11/21_18:13:20 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd0 /database start # 挂载目录
Filesystem(Filesystem_/dev/drbd0)[11587]: 2016/11/21_18:13:20 INFO: Running start for /dev/drbd0 on /database
Filesystem(Filesystem_/dev/drbd0)[11587]: 2016/11/21_18:13:20 INFO: Starting filesystem check on /dev/drbd0
/usr/lib/ocf/resource.d//heartbeat/Filesystem(Filesystem_/dev/drbd0)[11579]: 2016/11/21_18:13:21 INFO: Success # 成功
ResourceManager(default)[11443]: 2016/11/21_18:13:23 info: Running /etc/ha.d/resource.d/IPaddr 192.168.22.250/24/eth0 start
IPaddr(IPaddr_192.168.22.250)[12005]: 2016/11/21_18:13:23 INFO: Adding inet address 192.168.22.250/24 to device eth0 # 启动VIP了
IPaddr(IPaddr_192.168.22.250)[12005]: 2016/11/21_18:13:23 INFO: Bringing device eth0 up
'''
heartbeat进程在但是没有VIP
master和backup的heartbeat进程都在运行中，但是两者都没有VIP，此时，重启了master服务器上的drbd，mysql，heartbeat都不生效。最终，同时重启了master和backup上两台服务器上的heartbeat进程后，VIP才出现。
测试Mysql+Heartbeat+DRBD是否生效。
检测Mysql+Heartbeat+DRBD 是否正常联合工作，需要这么查看：
- 停掉master的heartheat看看是否能正常切换。
- 停掉master的网络或者直接将master系统shutdown，看看能否正常切换。
- 启动master的heartbeat看看是否能不切换回来,因为配置文件ha.cf中使auto_failback为off，不进行切回。
注意：这里说的切换是不是已经将mysql停掉、是否卸载了文件系统等等。
我们在172.16.22.81（dbmaster81）上查看当前状态
[root@dbmaster81 ~]# df -hT # 磁盘挂载中
Filesystem Type Size Used Avail Use% Mounted on
/dev/sda2 ext4 28G 2.9G 23G 12% /
tmpfs tmpfs 238M 0 238M 0% /dev/shm
/dev/sda1 ext4 283M 57M 212M 22% /boot
/dev/drbd0 ext4 11G 48M 9.5G 1% /database
[root@dbmaster81 ~]# service mysqld status # 数据库在运行中
mysqld (pid 13035) is running...
[root@dbmaster81 ~]# ip a|grep 'inet '
inet 127.0.0.1/8 scope host lo
inet 172.16.22.81/24 brd 172.16.22.255 scope global eth0
inet 172.16.22.250/24 brd 172.16.22.255 scope global secondary eth0 # Vip在master上。
此时看看172.16.22.136（dbbackup136）上的状态。
[root@dbbackup136 ~]# df -hT # 磁盘未挂载
Filesystem Type Size Used Avail Use% Mounted on
/dev/sda2 ext4 28G 2.9G 23G 12% /
tmpfs tmpfs 238M 0 238M 0% /dev/shm
/dev/sda1 ext4 283M 59M 209M 22% /boot
[root@dbbackup136 ~]# service mysqld status # mysql停止运行的
mysqld is stopped
[root@dbbackup136 ~]# ip a|grep 'inet '
inet 127.0.0.1/8 scope host lo
inet 172.16.22.136/24 brd 172.16.22.255 scope global eth0 #没有VIP
停止heartbeat进程或者使拔掉master网线
我们在172.16.22.81（dbmaster81）上关机，模拟服务器宕机
[root@dbmaster81 ~]# halt
此时看看172.16.22.136（dbbackup136）上的状态。
[root@dbbackup136 ~]# service mysqld status # 数据库在运行中
mysqld (pid 26739) is running...
[root@dbbackup136 ~]# ip a|grep 'inet ' # Vip在master上。
inet 127.0.0.1/8 scope host lo
inet 172.16.22.136/24 brd 172.16.22.255 scope global eth0
inet 172.16.22.250/24 brd 172.16.22.255 scope global secondary eth0
[root@dbbackup136 ~]# df -hT # 磁盘挂载中
Filesystem Type Size Used Avail Use% Mounted on
/dev/sda2 ext4 28G 2.9G 23G 12% /
tmpfs tmpfs 238M 0 238M 0% /dev/shm
/dev/sda1 ext4 283M 59M 209M 22% /boot
/dev/drbd0 ext4 11G 48M 9.5G 1% /database
master关机后，backup能够正常接替master的服务，此时向Mysql插入数据，看能不能够正常使用Mysql，我这边用Navicat来操作Mysql，连接的是VIP（172.16.22.250），能够正常操作Mysql。说明Mysql+Heartbeat+DRBD联调成功。
等dbmaster81开机后，heartbeat的VIP等各项资源都没有回切回来，说明正确。因为配置文件配置的就是不回切，除非dbbackup136宕机了。
至此
我们已经把heartbeat安装成功，下面就说LVS+Mysql slave做负载均衡了。
