haproxy

1. 简介

　　Haproxy 提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机。

　　haproxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。负载均衡LVS是基于四层。

　　haproxy 高性能负载均衡优点如下：

　　haproxy是支持虚拟主机的，可以工作在4/7层

　　能够补充nginx 的一些缺点，比如 session 的保持、cookie 的引导等工作

　　支持url 检测后端的服务器

　　它跟lvs 一样，只是一款负载均衡软件，单纯从效率上来讲，haproxy 更会比nginx又更出色的负载均衡速度，在并发处理上也是优于nginx的

　　haproxy可以对mysql 读进行负载均衡，对后端的MySQL节点进行 检测和负载均衡，haproxy 支持多种算法。

haproxy+keepalived 企业高性能web 能够支持千万级并发网站。

2. 安装配置

2.1  安装

下载网址：http://download.openpkg.org/components/cache/haproxy/

# wget http://download.openpkg.org/components/cache/haproxy/haproxy-1.8.10.tar.gz
# tar -xvf haproxy-1.8.10.tar.gz
# cd haproxy-1.8.10
# make TARGET=linux2628 PREFIX=/usr/local/haproxy/
# 2.0以后 make TARGET=linux-glibc PREFIX=/usr/local/haproxy/
# make install PREFIX=/usr/local/haproxy
# /usr/local/haproxy/sbin/haproxy -v

2.2 haproxy 配置文件详解

###########全局配置#########
global
　　log 127.0.0.1 local0 　　　　　 # 日志输出配置，所有日志都记录在本机，通过local0输出
　　log 127.0.0.1 local1 notice 　 #定义haproxy 日志级别[error warring info debug]
　　daemon 　　　　　　　　　　　　　　#以后台形式运行harpoxy
　　nbproc 8 　　　　　　　　　　　　　#进程数量（可设置多个进程提高性能）
　　maxconn 4096 　　　　　　　　　　 #默认最大连接数
　　uid　　　　　　　　　　　　　　　　 #运行haproxy的用户uid
　　gid　　　　　　　　　　　　　　　　　#运行haproxy的用户所属组的gid
　　pidfile /var/run/haproxy.pid   #haproxy 进程PID文件
　　ulimit-n 65535　　　　　　　　　　#ulimit 的数量限制
　　chroot /usr/share/haproxy 　　　#chroot运行路径
　　debug 　　　　　　　　　　　　　　　#haproxy 调试级别，建议只在开启单进程的时候调试
　　quiet

########默认配置############
defaults
　　log global
　　mode http 　　　　　　　　　　　　 #所处理的类别（7层http，四层tcp）
　　maxconn　　20480　　　　　　　　　 #最大连接数
　　option httplog 　　　　　　　　　 #日志类别http日志格式
　　option httpclose　　　　　　　　　#每次请求完毕后主动关闭http通道
　　option dontlognull 　　　　　　　 #不记录健康检查的日志信息
　　retries 3 　　　　　　　　　　　　　#3次连接失败就认为是服务器不可用，也可以通过后面设置
　　option forwardfor 　　　　　　  　#如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
　　option redispatch 　　　　　　　　#当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
　　option abortonclose 　　　　　　 #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
　　timeout connect 5000ms 　　　　 #连接超时
　　timeout client 30000ms 　　　　 #客户端超时
　　timeout server 30000ms　　　　  #服务器超时
　　#timeout check 2000 　　　　　　 #心跳检测超时
　　#timeout http-keep-alive10s 　　#默认持久连接超时时间
　　#timeout http-request 10s　　　　#默认http请求超时时间
　　#timeout queue 1m　　　　　　    #默认队列超时时间
　　balance roundrobin 　　　　　　 #设置默认负载均衡方式，轮询方式
　　#balance source 　　　　　　　 　#设置默认负载均衡方式，类似于nginx的ip_hash
　　#balnace leastconn　　　　　　  #设置默认负载均衡方式，最小连接数

########监控页面配置########
listen admin_stats　　　　　　　　　#Frontend和Backend的组合体，监控组的名称，按需自定义名称
　　bind 0.0.0.0:65535　　　　　　 # 监听端口 
　　mode http 　　　　　　　　　　 　#http的7层模式
　　option httplog　　　　　　　　  #采用http日志格式
　　log 127.0.0.1 local3 err 　　 #错误日志记录
　　maxconn 10 　　　　　　　　　　  #默认的最大连接数
　　stats refresh 30s　　　　　　  #每个5s自动刷新监控页面
　　stats uri /stats 　　 　　　 　#监控页面url
　　stats realm Nanshan\ Haproxy #监控页面的提示信息
　　stats auth admin:admin 　　　　#设置监控页面的用户和密码:admin,可以设置多个用户名
　　stats auth wind:wind 　　　　 #设置监控页面的用户和密码：wind
　　stats hide-version 　　　　　　#隐藏统计页面上HAProxy的版本信息
　　stats admin if TRUE 　　　　　　#设置手工启动/禁用，后端服务器
########监控haproxy 后端服务器状态
listen site_status　　　　　　　　　
    bind 0.0.0.0:1081　　　　　　  　　　　　　#监听端口
    mode http　　　　　　　　　　　　　　　　　　#http7层模式
    log 127.0.0.1 local3 err　　　　　　　　　#[err warning info debug]
    monitor-uri /site_status　　　　　　　　　#网站健康监测URL，用了检测haproxy 管理的网站是否可用，正常返回200，不正常返回530
    acl site_dead nbsrv(server_web) lt 2　　#定义网站down时的策略，当挂在负载均衡上的指定 backend 的有效机器数小于 1 台时返回true
    monitor fail if site_dead　　　　　　　　#当满足策略时返回503
    monitor-net 192.168.80.130/32　　　　　　#来自192.168.80.130 的日志信息不会被记录和转发
    monitor-net 192.168.80.131/32　　　　　　#来自192.168.80.131 的日志信息不会被记录和转发

########设置haproxy 错误页面#####
#errorfile 403 /usr/local/haproxy/errorfiles/403.http
#errorfile 500 /usr/local/haproxy/errorfiles/500.http
#errorfile 502 /usr/local/haproxy/errorfiles/502.http
#errorfile 503 /usr/local/haproxy/errorfiles/503.http
#errorfile 504 /usr/local/haproxy/errorfiles/504.http

########frontend配置##############
frontend main
　　bind *:80 　　　　　　　　　　　　　　#这里建议使用bind *:80的方式，要不然做集群高可用的时候有问题，vip切换到其他机器就不能访问了。
　　acl abc hdr(host) -i www.abc.com  #acl后面是规则名称，-i为忽略大小写，后面跟的是要访问的域名，如果访问www.abc.com这个域名，就触发abc规则，。
　　acl bcd hdr(host) -i www.bcd.com  #如果访问www.bcd.com这个域名，就触发bcd规则。
　　use_backend abcserver if abc   #如果上面定义的abc规则被触发，即访问www.abc.com，就将请求分发到webserver这个作用域。
　　use_backend bcdserver if bcd   #如果上面定义的bcd规则被触发，即访问www.bcd.com，就将请求分发到bcdserver这个作用域。
　　default_backend dynamic　　　　 #不满足则响应backend的默认页面

########backend配置##############
backend abcserver 
　　mode http　　　　　　　　　　　　　　　　　　#http的7层模式
　　balance roundrobin 　　　　　　　　　　　　#balance roundrobin 负载轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数
　　option httpchk /index.html HTTP/1.0 　　#健康检查, 检测文件，如果分发到后台index.html访问不到就不再分发给它
　　server web1 192.168.80.133:80 cookie 1 weight 5 check inter 2000 rise 2 fall 3
　　server web2 192.168.80.134:80 cookie 2 weight 3 check inter 2000 rise 2 fall 3
　　#cookie 1表示serverid为1，check inter 1500 是检测心跳频率 
　　#rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

2.3 配置haproxy 服务

# cd /usr/local/haproxy/
# mkdir etc
# touch /usr/local/haproxy/etc/haproxy.cfg

2.4 配置文件内容

global
        maxconn         2000
        log             127.0.0.1 local0
        uid             1000
        gid             1000
        chroot          /var/empty
    nbproc        4
        daemon
defaults
        log global
        mode http
        maxconn 2000
        option httplog
        option dontlognull
        retries 3
        option redispatch
        timeout connect 5000
        timeout client 50000
        timeout server 50000
frontend nginx
    bind        *:80
        mode            http
        log             global
        option          httplog
        option          dontlognull
        option          nolinger
        option          http_proxy
        maxconn         8000
        timeout client  30s
    acl abc hdr_end(host) -i www.abc.com
    acl bcd hdr_end(host) -i www.bcd.com
        use_backend abcserver if abc
        use_backend bcdserver if bcd
        default_backend abcserver
backend abcserver
        balance roundrobin
        option httpchk /index.html HTTP/1.0
        server web1 192.168.80.131:80 cookie 1 check inter 2000 rise 2 fall 3 weight 4
backend bcdserver
        balance roundrobin
        option httpchk /index.html HTTP/1.0
        server web1 192.168.80.134:80 cookie 1 check inter 2000 rise 2 fall 3 weight 1

3. haproxy + keepalived

环境准备

nginx1:192.168.80.131
nginx2:192.168.80.134
keepalived+haproxy(master):192.168.80.133
keepalived+haproxy(backup):192.168.80.132
VIP:192.168.80.250

3.1 安装keepalived

# tar -zxvf keepalived-2.0.20.tar.gz
# cd keepalived-2.0.20
# ./configure --prefix=/usr/local/keepalived
# make && make install
# cp keepalived-2.0.20/keepalived/etc/init.d/keepalived /etc/init.d/
# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
# mkdir -p /etc/keepalived
# cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

3.2 配置keepalived

master

! Configuration File for keepalived

global_defs {
   router_id haproxy1
}
vrrp_script check {
   script "/data/sh/check_haproxy.sh"
   interval 2
   weight 2
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.80.250
    }
    track_script {
    check
    }
}

backup

! Configuration File for keepalived

global_defs {
   router_id haproxy1
}
vrrp_script check {
   script "/data/sh/check_haproxy.sh"
   interval 2
   weight 2
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.80.250
    }
    track_script {
    check
    }
}

3.3 创建检测脚本

# cat /data/sh/check_haproxy.sh 
#!/bin/bash
#auto check haproxy process

killall -0 haproxy
if [[ $? -ne 0 ]];then
    /etc/init.d/keepalived stop
fi

3.4 haproxy 配置

# cat /usr/local/haproxy/haproxy.cfg 
global
        maxconn         8000
        log             127.0.0.1 local0
        uid             1000
        gid             1000
        chroot          /var/empty
        daemon
defaults
        log global
        mode http
        maxconn 2000
        option httplog
        option dontlognull
        retries 3
        option redispatch
        timeout connect 5000
        timeout client 50000
        timeout server 50000
frontend nginx
    bind        192.168.80.250:80
        mode            http
        log             global
        option          httplog
        option          dontlognull
        maxconn         8000
        stats uri /haproxy?stats
        default_backend abcserver
backend abcserver
        balance roundrobin
        option forwardfor
        option httpchk GET /index.html 
        server web1 192.168.80.131:80 cookie 1 check inter 2000 rise 2 fall 3 weight 2
        server web2 192.168.80.134:80 cookie 2 check inter 2000 rise 2 fall 3 weight 1

主备服务器上haproxy 配置可相同。