基于 Haproxy 构建高可用负载均衡集群和基于Haproxy+Keepalived构建高可用负载均衡集群
实验环境:
关闭所有防火墙
192.168.200.111 haproxy+keepalived
192.168.200.112 nginx
192.168.200.113 nginx
192.168.200.115 haproxy+keepalived
一。基于HAPROXY构建负载均衡集群
5、安装配置Haproxy
5.1 安装Haproxy依赖包及源码包编译安装
[root@localhost ~] # yum -y install gcc gcc-c++ make pcre-devel bzip2-devel [root@localhost ~] # tar xf haproxy-1.4.24.tar.gz -C /usr/src/ [root@localhost ~] # cd /usr/src/haproxy-1.4.24/ [root@localhost haproxy-1.4.24] # make TARGET=linux26 && make install |
5.2 建立haproxy的配置目录及文件
[root@localhost haproxy-1.4.24] # mkdir /etc/haproxy [root@localhost haproxy-1.4.24] # cp examples/haproxy.cfg /etc/haproxy/ |
5.3 haproxy配置项的介绍
###########全局配置######### global log 127.0.0.1 local0 #日志输出配置,所有日志都记录在本机系统日志,通过local0输出 log 127.0.0.1 local1 notice #notice为日志级别,通常有24个级别(error warringinfo debug) nbproc 1 #设置进程数量,通常是CPU核心数或者2倍 pidfile /etc/haproxy/haproxy .pid #haproxy 进程PID文件 maxconn 4096 #最大连接数(需考虑ulimit-n限制 ) #chroot /usr/share/haproxy #chroot运行路径 uid 99 #用户uid gid 99 #用户gid daemon #守护进程模式,以后台服务形式允许 #debug #haproxy 调试级别,建议只在开启单进程的时候调试 ########默认配置############ defaults log global #定义日志为global配置中的日志定义 mode http #默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK option httplog #日志类别,采用http日志格式记录日志 #option dontlognull #不记录健康检查日志信息 retries 3 #检查节点服务器失败次数,连续达到三次失败,则认为节点不可用 #option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端i #option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现 maxconn 4096 #最大连接数 contimeout 5000 #连接超时时间 clitimeout 50000 #客户端超时时间 srvtimeout 50000 #服务器超时时间 #timeout check 2000 #心跳检测超时 #timeout http-keep-alive10s #默认持久连接超时时间 #timeout http-request 10s #默认http请求超时时间 #timeoutqueue 1m #默认队列超时时间 ########统计页面配置######## listen admin_stats bind 0.0.0.0:1080 #设置Frontend和Backend的组合体,监控组的名称,按需要自定义名称 mode http #http的7层模式 option httplog #采用http日志格式 #log 127.0.0.1 local0 err #错误日志记录 maxconn 10 #默认的最大连接数 stats refresh 30s #统计页面自动刷新时间 stats uri /stats #统计页面url stats realm Crushlinux\ Haproxy #统计页面密码框上提示文本 stats auth admin:admin #设置监控页面的用户和密码:admin,可以设置多个用户名 stats hide-version #隐藏统计页面上HAProxy的版本信息 #stats admin if TRUE #设置手工启动/禁用,后端服务器(haproxy-1.4.9以后版本) ########设置haproxy 错误页面##### errorfile 403 /home/haproxy/haproxy/errorfiles/403 .http errorfile 500 /home/haproxy/haproxy/errorfiles/500 .http errorfile 502 /home/haproxy/haproxy/errorfiles/502 .http errorfile 503 /home/haproxy/haproxy/errorfiles/503 .http errorfile 504 /home/haproxy/haproxy/errorfiles/504 .http ########frontend前端配置############## bibind *:80 #这里建议使用bind *:80的方式,要不然做集群高可用的时候有问题,vip切换到其他机器就不能访问了。 acl web hdr(host) -i www.abc.com #acl后面是规则名称,-i是要访问的域名, acl img hdr(host) -i img.abc.com #如果访问www.abc.com这个域名就分发到下面的webserver 的作用域。 #如果访问img.abc.com.cn就分发到imgserver这个作用域。 use_backend webserver if web use_backend imgserver if img ########backend后端配置############## backend webserver #webserver作用域 mode http balance roundrobin #banlance roundrobin 轮询,balance source 保存session值,支持static-rr,leastconn,first,uri等参数 option httpchk /index .html HTTP /1 .0 #健康检查,检测文件,如果分发到后台index.html访问不到就不再分发给它 server web1 192.168.200.103:80 cookie 1 weight 1 check inter 2000 rise 2 fall 3 server web2 192.168.200.104:80 cookie 2 weight 1 check inter 2000 rise 2 fall 3 #cookie 1表示serverid为1,check inter 1500 是检测心跳频率 #rise 2是2次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重 backend imgserver mode http option httpchk /index .php balance roundrobin server img01 192.168.200.105:80 check inter 2000 fall 3 server img02 192.168.200.106:80 check inter 2000 fall 3 ########tcp配置################# listen test1 bind 0.0.0.0:90 mode tcp option tcplog #日志类别,采用tcplog maxconn 4086 #log 127.0.0.1 local0 debug server s1 192.168.200.107:80 weight 1 server s2 192.168.200.108:80 weight 1 |
5.4 haproxy 配置文件修改
[root@localhost ~] # vim /etc/haproxy/haproxy.cfg # this config needs haproxy-1.1.28 or haproxy-1.2.1 global # log 127.0.0.1 local0 # log 127.0.0.1 local1 notice log /dev/log local0 info log /dev/log local0 notice maxconn 4096 uid 99 gid 99 daemon defaults log global mode http option httplog retries 3 maxconn 4096 contimeout 5000 clitimeout 50000 srvtimeout 50000 listen webcluster 0.0.0.0:80 option httpchk GET /index .html balance roundrobin server inst1 192.168.200.112:80 check inter 2000 fall 3 server inst1 192.168.200.113:80 check inter 2000 fall 3 listen admin_stats bind 0.0.0.0:8000 mode http option httplog maxconn 100 stats refresh 30s stats uri /stats stats realm Crushlinux\ Haproxy stats auth admin:admin stats hide-version |
5.5 准备服务自启动脚本
[root@localhost ~] # cp /usr/src/haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy [root@localhost ~] # ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy [root@localhost ~] # chmod +x /etc/init.d/haproxy [root@localhost ~] # /etc/init.d/haproxy start 如果启动不成功,看一看有没有80端口开启并引起的冲突,还要关闭原来留下的keepalived服务
|
5.6.给112和113编译安装nginx
区别:112: echo "2222222" > /usr/local/nginx/html/index.html
113: echo "333333" >/usr/local/nginx/html/index.html
5.7 测试
在网页上输入192.168.200.111
或者在115上输入
while :; do elinks http://192.168.200.111; sleep 1; done
出现2222和3333即成功
8、Haproxy 日志
8.2 修改rsyslog配置
为了便于管理,将Haproxy相关的配置独立定义到haproxy.conf 并放到/etc/rsyslog.d/ 下,rsyslog启动时会自动加载此目录下的所有配置文件。
[root@localhost ~] # vim /etc/rsyslog.d/haproxy.conf if ($programname == 'haproxy' and $syslogserverity-text == 'info' ) then - /var/log/haproxy/haproxy-info .log &~ if ($programname == 'haproxy' and $syslogserverity-text == 'notice' ) then - /var/log/haproxy/haproxy-notice .log &~ |
将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log中,将notice日志记录到/var/log/haproxy/haproxy-notice.log中,将notice日志记录到/var/log/haproxy/haproxy-notice
&~ 表示当写入到日志文件后,rsyslog停止处理这个信息,(rainerscript 脚本语言)
重启rsyslog服务
[root@localhost ~]# service rsyslog restart
8.4 状态统计功能测试
在网页上输入 192.168.200.111:8000/stats
二。
基于Haproxy+Keepalived构建高可用负载均衡集群
延续上一个实验。把115的Haproxy做好,跟111一样
然后在111和115中再配置
yum -y install keepalived
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_http_port { #上下对应
script "/etc/keepalived/check_haproxy.sh" #脚本所在位置
interval 2
}
vrrp_instance VI_1 {
state MASTER #115的是BACKUP
interface ens32
virtual_router_id 51
priority 100 #115的是100以内 。不包括100,也不许用小数点,一定用整数
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.200.254 #VIP
}
track_script {
chk_http_port
}
}
vim /etc/keepalived/check_haproxy.sh
#!/bin/bash
counter=$(ps -C haproxy --no-heading|wc -l)
echo "$counter"
if [ "${counter}" = "0" ]; then
/etc/init.d/haproxy start
sleep 2
counter=$(ps -C haproxy --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
/etc/init.d/keepalived stop
fi
fi
chmod +x /etc/keepalived/check_haproxy.sh
systemctl start keepalived
测试
ip a 查看 111的VIP 192.168.200.254是否出来
在112或者113上测试
记得关闭111和115的防火墙
111和115每重启或关闭一次防火墙都要iptables -F
while :; do curl 192.168.200.254; sleep 1; done
出没出来22222和333333
然后关闭keepalived
systemctl stop keepalived
查看115的VIP192.168.200.254是否存在
然后开启111的keepalived
看看是否抢夺回来
然后关闭111或者115的haproxy
/etc/init.d/haproxy stop
查看haproxy是否开启,开启则成功(脚本检测你的haproxy关闭的话,会自动帮你开启)
netstat -lnpt |grep haproxy