HAProxy 使用小记
PS:写在开头,虽然HAProxy优点很多,但是现在网上可参考的HAProxy文档真的少之又少,so,我把最近在项目中使用的心得整理下,供大家参考,如有侵权或错误之处,还请联系更正,谢谢!
好了,下面进入正文
HAProxy简介
1.HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。
2.HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。
3.HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。
4.HAProxy实现了一种事件驱动, 单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space) 实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。
HAProxy官网地址:https://www.haproxy.org
HAProxy下载地址(1.6.9):https://fossies.org/linux/misc/haproxy-1.6.9.tar.gz
HAProxy文档:http://cbonte.github.io/haproxy-dconv/1.8/configuration.html
步骤一、关闭SElinux、配置防火墙
1、vim /etc/selinux/config
SELINUX=enforcing #注释掉
SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加
[root@A local]# wq! #保存退出
[root@A local]# setenforce 0 #使配置立即生效
2、vim /etc/sysconfig/iptables #编辑
-A RH-Firewall-1-INPUT -d 224.0.0.18 -j ACCEPT #允许组播地址通信
-A RH-Firewall-1-INPUT -p vrrp -j ACCEPT #允许VRRP(虚拟路由器冗余协)通信
-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT #允许80端口通过防火墙
-A INPUT -m state --state NEW -m tcp -p tcp --dport 1080 -j ACCEPT #允许1080端口通过防火墙
[root@A local]# wq! #保存退出
[root@A local]# /etc/init.d/iptables restart #重启防火墙使配置生效
步骤二、安装HAProxy
1、创建HAProxy运行账户和组
groupadd haproxy #添加haproxy组
useradd -g haproxy haproxy -s /bin/false #创建nginx运行账户haproxy并加入到haproxy组,不允许haproxy用户直接登录系统
2、安装:
[root@A local]# yum install -y gcc
[root@A local]# tar zxvf haproxy-1.6.9.tar.gz
[root@A local]# cd haproxy-1.6.9
[root@A local]# make TARGET=linux3100 CPU=x86_64 PREFIX=/usr/local/haprpxy #编译 uname -r #查看系统内核版本号
[root@A local]# make install PREFIX=/usr/local/haproxy #安装
3、设置HAProxy
[root@A local]# mkdir -p /usr/local/haproxy/conf #创建配置文件目录
[root@A local]# mkdir -p /etc/haproxy #创建配置文件目录
[root@A local]# touch /usr/local/haproxy/conf/haproxy.cfg #创建配置文件
[root@A local]# ln -s /usr/local/haproxy/conf/haproxy.cfg /etc/haproxy/haproxy.cfg #添加配置文件软连接
[root@A local]# cp -r /home/haproxyserver/haproxy-1.8.4/examples/errorfiles /usr/local/haproxy/errorfiles #拷贝错误页面
[root@A local]# ln -s /usr/local/haproxy/errorfiles /etc/haproxy/errorfiles #添加软连接
[root@A local]# mkdir -p /usr/local/haproxy/log #创建日志文件目录
[root@A local]# touch /usr/local/haproxy/log/haproxy.log #创建日志文件
[root@A local]# ln -s /usr/local/haproxy/log/haproxy.log /var/log/haproxy.log #添加软连接
[root@A local]# cp /home/haproxyserver/haproxy-1.8.4/examples/haproxy.init /etc/rc.d/init.d/haproxy #拷贝开机启动文件
[root@A local]# chmod +x /etc/rc.d/init.d/haproxy #添加脚本执行权限
[root@A local]# chkconfig haproxy on #设置开机启动
[root@A local]# ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin #添加软连接
4、配置haproxy.cfg参数
[root@A local]# cp /usr/local/haproxy/conf/haproxy.cfg /usr/local/haproxy/conf/haproxy.cfg-bak #备份
[root@A local]# vi /usr/local/haproxy/conf/haproxy.cfg #编辑,修改
以下是HAProxy的参数配置
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
log 127.0.0.1 local2 ###[err warning info debug]
chroot /usr/local/haproxy
pidfile /var/run/haproxy.pid ###haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
maxconn 4000 ###最大连接数,默认4000
user haproxy
group haproxy
daemon ###创建1个进程进入deamon模式运行。此参数要求将运行模式设置为"daemon"
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http ###默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK
log global ###采用全局定义的日志
option dontlognull ###不记录健康检查的日志信息
option httpclose ###每次请求完毕后主动关闭http通道
option httplog ###日志类别http日志格式
option forwardfor ###如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip
option redispatch ###serverId对应的服务器挂掉后,强制定向到其他健康的服务器
timeout connect 10000 #default 10 second timeout if a backend is not found
timeout client 300000 ###客户端连接超时
timeout server 300000 ###服务器连接超时
maxconn 60000 ###最大连接数
retries 3 ###3次连接失败就认为服务不可用,也可以通过后面设置
####################################################################
listen stats
bind 0.0.0.0:1080 #监听端口
stats refresh 30s #统计页面自动刷新时间
stats uri /stats #统计页面url
stats realm Haproxy Manager #统计页面密码框上提示文本
stats auth admin:admin #统计页面用户名和密码设置
#stats hide-version #隐藏统计页面上HAProxy的版本信息
#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend main
bind 0.0.0.0:80
acl url_static path_beg -i /static /images /javascript /stylesheets
acl url_static path_end -i .jpg .gif .png .css .js
use_backend static if url_static ###满足策略要求,则响应策略定义的backend页面
default_backend dynamic ###不满足则响应backend的默认页面
#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
backend static
balance roundrobin ###负载均衡模式轮询
server static 127.0.0.1:80 check ###后端服务器定义
backend dynamic
balance roundrobin
server websrv1 192.168.5.5:80 check maxconn 2000
server websrv2 192.168.5.47:80 check maxconn 2000
#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
#errorloc 503 http://www.osyunwei.com/404.html
errorfile 403 /etc/haproxy/errorfiles/403.http
errorfile 500 /etc/haproxy/errorfiles/500.http
errorfile 502 /etc/haproxy/errorfiles/502.http
errorfile 503 /etc/haproxy/errorfiles/503.http
errorfile 504 /etc/haproxy/errorfiles/504.http
修改后保存退出
:wq! #保存退出
service haproxy start #启动
service haproxy stop #关闭
service haproxy restart #重启
5、设置HAProxy日志
vi /etc/syslog.conf 在centOS 6以后,编辑/etc/rsyslog.conf #编辑,在最下边增加
haproxy.log
local0.* /var/log/haproxy.log
local3.* /var/log/haproxy.log
rsyslog默认情况下,需要在端口514监听UDP,所以需要把以下两行注释去掉:
Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
:wq! #保存退出
vi /etc/sysconfig/syslog 在centOS 6以后,编辑/etc/sysconfig/rsyslog #编辑修改
SYSLOGD_OPTIONS="-r -m 0 -c 2" #接收远程服务器日志
:wq! #保存退出
service syslog restart 在centOS 6以后, systemctl restart rsyslog.service #重启syslog
添加定时任务,定时切割haproxy运行日志:
在/user/local/haproxy/log/下添加执行脚本:
添加定时任务启动脚本,在每天零点一分执行脚本:
01 0 * * * root /usr/local/haproxy/log/haproxyLogRotate.sh
修改定时任务后需要重启crond服务:
service crond restart (centos 6之前)
/bin/systemctl restart crond.service (centos 6以后)
6.浏览器打开haproxy的监控页面
如下:http://192.168.5.248:1080/stats
说明:1080即haproxy配置文件中监听端口,stats 即haproxy配置文件中的监听名称
7、Haproxy 版本需要在1.5以上才支持SSL
haproxy 代理 ssl 有两种方式
1、haproxy 本身提供ssl 证书,后面的web 服务器走正常的http ,这种方式需要重新编译haproxy
2、haproxy 本身只提供代理,后面的web服务器https,这种方式不需要重新编译
方式一:
重新编译安装
make TARGET=linux3100 USE_OPENSSL=1 ADDLIB=-lz clean all
make install
[root@localhost haproxy]# ldd haproxy | grep ssl
libssl.so.10 => /lib64/libssl.so.10 (0x00007f5ab8264000)
修改haproxy.cfg配置文件
global
tune.ssl.default-dh-param 2048 //修改默认使用2048bit加密,不设置会有警告
frontend http-in
bind *:443 ssl crt /root/server.pem //配置ssl支持,这里pem文件是证书和私钥合并而成的, cat servername.crt servername.key |tee servername.pem
reqadd X-Forwarded-Proto:\ https //http和https并存
redirect scheme https if !{ ssl_fc } //http跳转https
方式二:
需要后置服务器本身支持https,那么只要进行如下配置:
frontend https
bind *:443
mode tcp
default_backend weblogic
backend weblogic
mode tcp
balance source
server s1 10.20.2.233:443
注意,这种模式下mode 必须是tcp 模式