HaProxy+keepalived实现负载均衡
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上.
haproxy 配置中分成五部分内容，分别如下：
1、global：参数是进程级的，通常是和操作系统相关。这些参数一般只设置一次，如果配置无误，就不需要再次进行修改
2、defaults：配置默认参数，这些参数可以被用到frontend，backend，Listen组件
3、frontend：接收请求的前端虚拟节点，Frontend可以更加规则直接指定具体使用后端的backend
4、backend：后端服务集群的配置，是真实服务器，一个Backend对应一个或者多个实体服务器
5、Listen Fronted和backend的组合体
HAProxy负载均衡策略非常多，HAProxy的负载均衡算法现在具体有如下8种：
① roundrobin，表示简单的轮询，这个不多说，这个是负载均衡基本都具备的；
② static-rr，表示根据权重，建议关注；
③ leastconn，表示最少连接者先处理，建议关注；
④ source，表示根据请求源IP，这个跟Nginx的IP_hash机制类似，我们用其作为解决session问题的一种方法，建议关注；
⑤ ri，表示根据请求的URI；
⑥ rl_param，表示根据请求的URl参数’balance url_param’ requires an URL parameter name；
⑦ hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求；
⑧ rdp-cookie(name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。
192.168.1.90
+-----------VIP----------+
| |
| |
Master Backup
192.168.0.110 192.168.0.111
+----------+ +----------+
| HAProxy | ß------à | HAProxy |
|keepalived| |keepalived|
+----------+ +----------+
|
v
+-----------+---------+
| | |
| | |
v v v
+--------+ +-------+ +-------+
| Docker | | Docker | | Docker |
| WEB1 | | WEB2 | | WEB3 |
+--------+ +-------+ +-------+
安装HAProxy,KeepAlived
add-apt-repository ppa:vbernat/haproxy-1.5
apt-get update
apt-get install haproxy
修改配置
sudo vim /etc/haproxy/haproxy.cfg
global
#log /dev/log local0
#log /dev/log local1 notice #定义haproxy 日志级别[error warringinfo debug]
log 127.0.0.1 local2 #日志输出配置，所有日志都记录在本机，通过local2输出
chroot /var/lib/haproxy #chroot运行路径
nbproc 1 #设置进程数量
stats socket /run/haproxy/admin.sock mode 660 level admin #定义统计信息保存位置
stats timeout 30s #监控页面超时时间
user haproxy #运行haproxy 用户
group haproxy #运行haproxy 用户组
daemon #以后台形式运行harpoxy
# Default SSL material locations
ca-base /etc/ssl/certs
crt-base /etc/ssl/private
# Default ciphers to use on SSL-enabled listening sockets.
# For more information, see ciphers(1SSL). This list is from:
# https://hynek.me/articles/hardening-your-web-servers-ssl-ciphers/
ssl-default-bind-ciphers ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5:!DSS
ssl-default-bind-options no-sslv3
defaults
log global #设置日志继承全局配置段的设置
mode http #设置haproxy的运行模式，有三种｛http|tcp|health｝，tcp是4层，http是7层，health只会返回OK
option abortonclose
option http-server-close #打开http协议中服务器端关闭功能，使得支持长连接，使得会话可以被重用，使得每一个日志记录都会被记录。
option httplog #表示开始打开记录http请求的日志功能
option dontlognull #如果产生了一个空连接，那这个空连接的日志将不会记录。
timeout connect 5000 #haproxy与后端服务器连接超时时间，如果在同一个局域网可设置较小的时间。
timeout client 50000 #定义客户端与haproxy连接后，数据传输完毕，不再有数据传输，即非活动连接的超时时间
timeout server 50000 #定义haproxy与上游服务器非活动连接的超时时间。
listen admin_stats #frontend和backend的组合体,监控组的名称，按需自定义名称
bind 0.0.0.0:8080 #配置监听端口
mode http #配置监控运行的模式，在这为http模式。
option httplog #表示开始打开记录http请求的日志功能
maxconn 10 #最大连接数
stats enable #开启统计页面
stats hide-version #配置隐藏统计页面上的HAproxy版本信息。
stats refresh 30s #配置每隔30秒自动刷新监控页面。
stats show-node #
stats auth admin:admin #设置监控页面的用户和密码:admin,可以设置多个用户名
stats uri /haproxy #统计页面url
stats admin if TRUE #设置手工启动/禁用，后端服务器
#设置错误页面
errorfile 400 /etc/haproxy/errors/400.http
errorfile 403 /etc/haproxy/errors/403.http
errorfile 408 /etc/haproxy/errors/408.http
errorfile 500 /etc/haproxy/errors/500.http
errorfile 502 /etc/haproxy/errors/502.http
errorfile 503 /etc/haproxy/errors/503.http
errorfile 504 /etc/haproxy/errors/504.http
frontend www-frontend #定义一个名为www-frontend的frontend。
Bind *:80 #定义haproxy前端部分监听的端口。
reqadd X-Forwarded-Proto:\ http #
default_backend http-backend #定义默认backend
option forwardfor #使后端server获取到客户端的真实IP
acl http hdr(host) -i www.aaa.com #根据域名定义acl
acl web hdr(host) -i www.bbb.com
use_backend http-backend if http #定义访问www.aaa.com的到http-backend
use_backend web-backend if web #定义访问www.bbb.com的到web-backend
backend http-backend
balance roundrobin #定义负载均衡方式，roundrobin轮询方式
cookie SERVERID insert indirect nocache
server web1 192.168.0.110:8001 cookie A check inter 1500 weight 1 rise 3 fall 3
server web2 192.168.0.110:8002 cookie B check inter 1500 weight 2 rise 3 fall 3
server web3 192.168.0.110:8003 cookie C check inter 1500 weight 3 rise 3 fall 3
#chookie指定serverID ,check inter指定检测心跳频率，rise指定正确次数，fall指定失败次数，weight代表权重
backend web-backend
balance roundrobin #定义负载均衡方式，roundrobin轮询方式
cookie SERVERID insert indirect nocache
server www1 192.168.0.111:8010 cookie A check inter 1500 weight 1 rise 3 fall 3
server www2 192.168.0.111:8020 cookie B check inter 1500 weight 2 rise 3 fall 3
listen tcptest #设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称
bind 0.0.0.0:8009 #设置监听端口
mode tcp #采用tcp
option tcplog #采用tcp日志格式
balance source #定义负载均衡方式
server s1 192.168.0.111:8010 weight 1 check inter 1500 rise 3 fall 3
server s2 192.168.0.111:8020 weight 2 check inter 1500 rise 3 fall 3
日志配置
sudo vi /etc/rsyslog.d/50-default.conf
增加以下一行
local2.* /var/log/haproxy.log
sudo vi /etc/rsyslog.conf
找到下面两行，把注释去掉
#$ModLoad imudp
#$UDPServerRun 514
重启rsyslog服务
sudo service rsyslog restart
重启haproxy服务
Sudo service haproxy restart
配置KeepAlived
Sudo vim /etc/keepalived/keepalived.conf ! Configuretion File for keepalived
globel_defs{
notification_email {
yqb813@gmail..com #指定keepalived在切换时需要发送到的email对象,一行一个
}
notification_email_from root@localhost ##指定发件人
smtp_server 127.0.0.1 #指定SMTP服务器地址
smtp_connect_timeout 30 #指定SMTP连接超时时间
router_id HAProxy_DEVEL #设置lvs的id,在一个网络内应该是唯一的
}
#监测haproxy进程状态，每2秒执行一次
vrrp_script chk_haproxy {
script "/usr/local/keepalived/chk_haproxy.sh"
interval 2
weight 2
}
vrrp_instance VI_1{
state MASTER #指定keepalived的角色,MASTER为主,BACKUP为备
interface eth0 #设置实例绑定到那个网卡
virtual_router_id 200 #VRID标记(0~255),主备要保持相同
priority 150 #优先级,MASTER要高于BACKUP的优先级(至少50)
advert_int 3 #检查间隔时间,默认1秒
authentication {
auth_type PASS #指定要使用那一种认证(PASS|AH)
auth_pass 111111 #指定要使用的密码字符串
}
track_script {
chk_haproxy #监测haproxy进程状态
}
virtual_ipaddress {
192.168.0.90 dev eth0 #定义虚拟IP(VIP),可多设,每行-个
}
}
/usr/local/keepalived/chk_haproxy.sh
#!/bin/bash
#
# description:
# 定时查看haproxy是否存在，如果不存在则启动haproxy，
# 如果启动失败，则停止keepalived
#
status=$(ps aux|grep haproxy | grep -v grep | grep -v bash | wc -l)
if [ "${status}" = "0" ]; then
/etc/init.d/haproxy restart
status2=$(ps aux|grep haproxy | grep -v grep | grep -v bash |wc -l)
if [ "${status2}" = "0" ]; then
/etc/init.d/keepalived stop
fi
fi
高可用测试
在master停掉keepalived,查看系统日志
发现master释放了vip
在backup查看系统日志，发现backup已经进入master 角色，并绑定vip
在master上启动keepalived，查看系统日志，发现重新获得master角色，并绑定vip
在backup上查看系统日志，发现重新回到backup角色，并释放vip
