基于Haproxy+Keepalived实现Haproxy的高可用
一：实验环境
准备4台linux服务器，系统都为CentOS Linux release 7.3.1611 (Core) 版本的虚拟机，IP分别及安装服务为：
192.168.37.101：haproxy+keepalived
192.168.37.102：haproxy+keepalived
192.168.37.103：web1服务器
192.168.37.104：web2服务器
软件：haproxy-1.8.20.tar.gz，keepalived（光盘yum源），httpd（光盘yum源）
二：安装步骤：
1：在101，102机器上安装分别源码安装haproxy服务，如下
#安装相关依赖包 [root@localhost src]# yum install gcc gcc-c++ glibc glibc-devel pcre pcre-devel openssl openssl-devel systemd-devel net-tools vim iotop bc zip unzip zlib-devel lrzsz tree screen lsof tcpdump wget ntpdate -y #上传解压的haproxy源码并进入haproxy源码目录 [root@localhost src]# tar xf haproxy-1.8.20.tar.gz [root@localhost src]# cd haproxy-1.8.20 [root@localhost haproxy-1.8.20]# #编译安装 [root@localhost haproxy-1.8.20]# mkdir /data/haproxy -p [root@localhost haproxy-1.8.20]# make ARCH=x86_64 TARGET=linux2628 USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_CPU_AFFINITY=1 PREFIX=/data/haproxy #创建服务启动脚本 [root@localhost system]# cat haproxy.service [Unit] Description=HAProxy Load Balancer After=syslog.target network.target [Service] ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid ExecReload=/bin/kill -USR2 $MAINPID [Install] WantedBy=multi-user.target #创建用户和目录 [root@localhost ~]# mkdir /etc/haproxy [root@localhost ~]# useradd haproxy -s /sbin/nologin [root@localhost ~]# chown haproxy.haproxy /data/haproxy/ /etc/haproxy/ -R #关闭并禁用防火墙及selinux服务 [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl disable firewalld [root@localhost ~]# vim /etc/selinux/config # This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled #此处禁用 # SELINUXTYPE= can take one of three two values: # targeted - Targeted processes are protected, # minimum - Modification of targeted policy. Only selected processes are protected. # mls - Multi Level Security protection. SELINUXTYPE=targeted
#启动haproxy服务并验证 [root@molson ~]# systemctl enable haproxy Created symlink from /etc/systemd/system/multi-user.target.wants/haproxy.service to /usr/lib/systemd/system/haproxy.service.
#上传写好的配置文件/etc/haproxy/haproxy.cfg global maxconn 100000 chroot /data/haproxy stats socket /data/haproxy/haproxy.sock mode 600 level admin uid 99 gid 99 daemon #nbproc 4 #cpu-map 1 0 #cpu-map 2 1 #cpu-map 3 2 #cpu-map 4 3 pidfile /run/haproxy.pid log 127.0.0.1 local3 info defaults option http-keep-alive option forwardfor maxconn 100000 mode http timeout connect 300000ms timeout client 300000ms timeout server 300000ms listen stats mode http bind 0.0.0.0:9999 stats enable log global stats uri /haproxy-status stats auth haadmin:q1w2e3r4ys
启动的服务见下图：
2:在101，102主机上分别通过yun安装keepalived服务，如下
[root@molson ~]# yum install keepalived -y
在101主机上修改keepalived的配置文件，如下
[root@molson ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VIP_1 { #实例的名称
state MASTER #主还是备
interface ens33 #网卡名称
virtual_router_id 51
priority 100 #权重
advert_int 1
authentication {
auth_type PASS
auth_pass molson #设置密码
}
virtual_ipaddress {
192.168.37.200 dev ens33 label ens33:0
}
}
102服务器上keepalived配置文件的修改
[root@localhost haproxy]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_iptables
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VIP_1 {
state BACKUP #备份
interface ens33 #网卡名
virtual_router_id 51
priority 80 #权重
advert_int 1
authentication {
auth_type PASS
auth_pass molson #密码
}
virtual_ipaddress {
192.168.37.200 dev ens33 label ens33:0 #虚拟的IP及网卡
}
}
101，102上启动keepalived并验证，如下图
[root@localhost haproxy]# systemctl start keepalived
三：两外两台服务器103，104分别安装httpd服务，如下
[root@molson ~]# yum install httpd -y
四：101，102机器修改haproxy的配置文件，进行负载均衡，如下
#在之前的配置文件后增加以下内容就可以
#/etc/haproxy/haproxy.cfg
listen WEB_PORT_80
mode http
bind 192.168.37.200:80 #绑定的虚拟IP及端口
server web1 192.168.37.103:80 check #转发的地址
server web2 192.168.37.104:80 check #转发的地址
五：启动haproxy程序，如下
[root@molson ~]# ss -ntl State Recv-Q Send-Q Local Address:Port LISTEN 0 128 *:9999 LISTEN 0 128 *:22 LISTEN 0 100 127.0.0.1:25 LISTEN 0 128 :::22 LISTEN 0 100 ::1:25
通过上述信息可以看出，端口80没有打开，修改内核参数，如下
[root@molson ~]# vim /etc/sysctl.conf #添加以下两行 net.ipv4.ip_nonlocal_bind = 1 net.ipv4.ip_forward = 1 [root@molson ~]# sysctl -p #使配置生效 #102机器上一样配置
再一次启动haproxy程序，并检查端口，如下
[root@localhost ~]# ss -ntl State Recv-Q Send-Q Local Address:Port Peer Address:Port LISTEN 0 128 *:9999 *:* LISTEN 0 128 192.168.37.200:80 *:* LISTEN 0 128 *:22 *:* LISTEN 0 100 127.0.0.1:25 *:* LISTEN 0 128 :::22 :::* LISTEN 0 100 ::1:25 :::* [root@localhost ~]#
六：验证高可用服务,如下
上图为101机器上验证，由上图可知，101和102组成高可以服务，只要其中一台服务停止了，还是可以正常服务的
由上图可知，在101机器上keepalived服务停止了，在102机器上还是可以正常服务的，当在102机器上也停止了，服务不可访问，如下
当101和102组成高可用服务的时候，主服务停止工作了，备份服务马上开启工作，见下图日志
由以上可知，简单的Haproxy+keepalived高可用服务服务搭建成功
