Linux-反向代理HAproxy

负载均衡简介

负载均衡：Load Balance，简称LB，是一种服务或基于硬件设备等实现的高可用反向代理技术，负载均 衡将特定的业务(web服务、网络流量等)分担给指定的一个或多个后端特定的服务器或设备，从而提高了 公司业务的并发处理能力、保证了业务的高可用性、方便了业务后期的水平动态扩展

为什么使用负载均衡

• Web服务器的动态水平扩展-->对用户无感知
• 增加业务并发访问及处理能力-->解决单服务器瓶颈问题
• 节约公网IP地址-->降低IT支出成本
• 隐藏内部服务器IP-->提高内部服务器安全性
• 配置简单-->固定格式的配置文件
• 功能丰富-->支持四层和七层，支持动态下线主机
• 性能较强-->并发数万甚至数十万

负载均衡类型

四层：

LVS：Linux Virtual Server
Nginx：1.9版之后
HAProxy：High Availability Proxy

七层：

HAProxy
Nginx

应用场景

四层：Redis、Mysql、RabbitMQ、Memcache等
七层：Nginx、Tomcat、Apache、PHP、图片、动静分离、API等

HAProxy介绍

HAProxy是法国开发者 威利塔罗(Willy Tarreau) 在2000年使用C语言开发的一个开源软件，是一款具 备高并发(一万以上)、高性能的TCP和HTTP负载均衡器，支持基于cookie的持久性，自动故障切换，支 持正则表达式及web状态统计。

历史版本更新功能：1.4 1.5 1.6 1.7 1.8 1.9 2.0 2.1 2.2 2.3 2.4-dev
1.8：多线程，HTTP/2缓存……
1.7：服务器动态配置，多类型证书……
1.6：DNS解析支持，HTTP连接多路复用……
1.5：开始支持SSL，IPV6，会话保持……

支持功能：

TCP 和 HTTP反向代理
SSL/TSL服务器
可以针对HTTP请求添加cookie，进行路由后端服务器
可平衡负载至后端服务器，并支持持久连接
支持所有主服务器故障切换至备用服务器
支持专用端口实现监控服务
支持停止接受新连接请求，而不影响现有连接
可以在双向添加，修改或删除HTTP报文首部
响应报文压缩
支持基于pattern实现连接请求的访问控制
通过特定的URI为授权用户提供详细的状态信息
支持http反向代理 支持动态程序的反向代理 支持基于数据库的反向代理

不具备的功能：

正向代理--squid，nginx
缓存代理--varnish
web服务--nginx、tengine、apache、php、tomcat
UDP--目前不支持UDP协议
单机性能--相比LVS性能较差

编译安装HA proxy

HAProxy 支持基于lua实现功能扩展，编译安装前，先安装lua环境

[root@centos7-liyj ~]#yum install -y wget gcc readline-devel
[root@centos7-liyj ~]#wget http://www.lua.org/ftp/lua-5.3.5.tar.gz       #现在lua包
--2022-06-12 11:17:22--  http://www.lua.org/ftp/lua-5.3.5.tar.gz
Resolving www.lua.org (www.lua.org)... 88.99.213.221, 2a01:4f8:10a:3edc::2
Connecting to www.lua.org (www.lua.org)|88.99.213.221|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 303543 (296K) [application/gzip]
Saving to: ‘lua-5.3.5.tar.gz’

100%[===============================================================================>] 303,543     92.2KB/s   in 3.2s   

2022-06-12 11:17:26 (92.2 KB/s) - ‘lua-5.3.5.tar.gz’ saved [303543/303543]
[root@centos7-liyj ~]#tar xf lua-5.3.5.tar.gz -C /usr/local/src
[root@centos7-liyj ~]#cd /usr/local/src/lua-5.3.5/
[root@centos7-liyj /usr/local/src/lua-5.3.5]#make linux test            #安装数据包
[root@centos7-liyj /usr/local/src/lua-5.3.5]#src/lua -v                 #查看编译的版本
Lua 5.3.5  Copyright (C) 1994-2018 Lua.org, PUC-Rio

编译安装HAproxy

[root@centos7-liyj ~]#yum -y install gcc openssl-devel pcre-devel systemd-devel

[root@centos7-liyj ~]#wget https://www.haproxy.org/download/2.1/src/haproxy-2.1.3.tar.gz        #下载haproxy安装包
--2022-06-12 11:44:53--  https://www.haproxy.org/download/2.1/src/haproxy-2.1.3.tar.gz
Resolving www.haproxy.org (www.haproxy.org)... 51.15.8.218, 2001:bc8:35ee:100::1
Connecting to www.haproxy.org (www.haproxy.org)|51.15.8.218|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 2675529 (2.6M) [application/x-tar]
Saving to: ‘haproxy-2.1.3.tar.gz’

100%[===============================================================================>] 2,675,529   1.46MB/s   in 1.7s   

2022-06-12 11:44:56 (1.46 MB/s) - ‘haproxy-2.1.3.tar.gz’ saved [2675529/2675529]

[root@centos7-liyj ~]#tar xf haproxy-2.1.3.tar.gz -C /usr/local/src/
[root@centos7-liyj ~]#cd /usr/local/src/haproxy-2.1.3/

编译安装文件

[root@centos7-liyj /usr/local/src/haproxy-2.1.3]#make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/usr/local/src/lua-5.3.5/src/ LUA_LIB=/usr/local/src/lua-5.3.5/src/ 
[root@centos7-liyj /usr/local/src/haproxy-2.1.3]#make install PREFIX=/usr/local/haproxy
[root@centos7-liyj /usr/local/src/haproxy-2.1.3]#ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin/

查看生成的文件

[root@centos7-liyj /usr/local/src/haproxy-2.1.3]#tree /usr/local/haproxy/
/usr/local/haproxy/
├── doc
│   └── haproxy
│       ├── 51Degrees-device-detection.txt
│       ├── architecture.txt
│       ├── close-options.txt
│       ├── configuration.txt
│       ├── cookie-options.txt
│       ├── DeviceAtlas-device-detection.txt
│       ├── intro.txt
│       ├── linux-syn-cookies.txt
│       ├── lua.txt
│       ├── management.txt
│       ├── netscaler-client-ip-insertion-protocol.txt
│       ├── network-namespaces.txt
│       ├── peers.txt
│       ├── peers-v2.0.txt
│       ├── proxy-protocol.txt
│       ├── regression-testing.txt
│       ├── seamless_reload.txt
│       ├── SOCKS4.protocol.txt
│       ├── SPOE.txt
│       └── WURFL-device-detection.txt
├── sbin
│   └── haproxy
└── share
    └── man
        └── man1
            └── haproxy.1

准备haproxy 启动文件

[root@centos7-liyj ~]#vim /usr/lib/systemd/system/haproxy.service
[root@centos7-liyj ~]#cat /usr/lib/systemd/system/haproxy.service
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg  -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000
[Install]
WantedBy=multi-user.target

配置文件

　[root@centos7-liyj ~]#mkdir /etc/haproxy

[root@centos7-liyj ~]#vim /etc/haproxy/haproxy.cfg
[root@centos7-liyj ~]#cat  /etc/haproxy/haproxy.cfg
global
   maxconn 100000
    chroot /usr/local/haproxy          #安装路径
   stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
    #uid 99
    #gid 99
   user haproxy
   group haproxy
   daemon
    #nbproc 4
    #cpu-map 1 0
    #cpu-map 2 1
    #cpu-map 3 2
    #cpu-map 4 3
   pidfile /var/lib/haproxy/haproxy.pid
   log 127.0.0.1 local2 info
defaults
   option http-keep-alive
   option forwardfor
   maxconn 100000
   mode http
   timeout connect 300000ms
   timeout client 300000ms
   timeout server 300000ms
listen stats
   mode http
   bind 0.0.0.0:9999
   stats enable
   log global
   stats uri     /haproxy-status
   stats auth   haadmin:123456     #状态页的登录账号密码
listen web_port
   bind 10.0.0.7:80                #监听地址，本机IP
   mode http
   log global
   server web1  127.0.0.1:8080 check inter 3000 fall 2 rise 5

启动haproxy

[root@centos7-liyj ~]#mkdir /var/lib/haproxy
[root@centos7-liyj ~]#useradd -r -s /sbin/nologin -d /var/lib/haproxy haproxy
[root@centos7-liyj ~]#systemctl enable --now haproxy

验证haproxy状态

[root@centos7-liyj ~]#systemctl  status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Sun 2022-06-12 12:14:06 CST; 2min 17s ago
  Process: 2246 ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q (code=exited, status=0/SUCCESS)
 Main PID: 2248 (haproxy)
   CGroup: /system.slice/haproxy.service
           ├─2248 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
           └─2250 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid

Jun 12 12:14:06 centos7-liyj systemd[1]: Starting HAProxy Load Balancer...
Jun 12 12:14:06 centos7-liyj systemd[1]: Started HAProxy Load Balancer.
Jun 12 12:14:06 centos7-liyj haproxy[2248]: [NOTICE] 162/121406 (2248) : New worker #1 (2250) forked
Jun 12 12:14:06 centos7-liyj haproxy[2248]: [WARNING] 162/121406 (2250) : Server web_port/web1 is DOWN, reason: L...ueue.
Jun 12 12:14:06 centos7-liyj haproxy[2248]: [ALERT] 162/121406 (2250) : proxy 'web_port' has no server available!


[root@centos7-liyj ~]#pstree -p |grep haproxy
           |-haproxy(2248)---haproxy(2250)---{haproxy}(2251)

基础配置详解

官方文档  http://cbonte.github.io/haproxy-dconv/

HAproxy 的配置文件haproxy.cfg 由两大部分组成，分别是gobal和proxies部分

• global：全局配置段

进程及安全配置相关的参数
性能调整相关参数
Debug参数

• proxies：代理配置段

defaults：为frontend, backend, listen提供默认配置
frontend：前端，相当于nginx中的server {}
backend：后端，相当于nginx中的upstream {}
listen：同时拥有前端和后端配置,配置简单,生产推荐使用

global配置参数说明

chroot 　　#锁定运行目录
deamon 　　#以守护进程运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1
#socket文件
user, group, uid, gid   #运行haproxy的用户身份
nbproc   n 　　　　　　　　#开启的haproxy worker 进程数，默认进程数是一个
#nbthread 1 　　　　　　  #和多进程 nbproc配置互斥（版本有关,CentOS8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务
Apr  7 14:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot
enable multiple processes if multiple threads are configured. Please use either
nbproc or nbthread but not both.

cpu-map 1 0   　　#绑定haproxy worker 进程至指定CPU，将第1个work进程绑定至0号CPU
cpu-map 2 1      #绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1号CPU
maxconn n   　　  #每个haproxy进程的最大并发连接数
maxsslconn n     #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n    #每个进程每秒创建的最大连接数量
spread-checks n  #后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile 　　　　  #指定pid文件路径
log 127.0.0.1 local2 info #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个

HAProxy日志配置

HAproxy本身不记录客户端的访问日志.此外为减少服务器负载,一般生产中HAProxy不记录日志. 也可以配置HAProxy利用rsyslog服务记录日志到指定日志文件中

HAProxy配置

#在global配置项定义：
log 127.0.0.1 local{1-7} info #基于syslog记录日志到指定设备，级别有(err、warning、info、debug)
listen web_port
 bind 127.0.0.1:80
 mode http
 log global 　　　　　　　　　　 #开启当前web_port的日志功能，默认不记录日志
 server web1  127.0.0.1:8080 check inter 3000 fall 2 rise 5
  
# systemctl restart haproxy

Rsyslog配置

vim /etc/rsyslog.conf
$ModLoad imudp
$UDPServerRun 514
......
local3.*   /var/log/haproxy.log
......
# systemctl restart rsyslog

Proxies配置

defaults [<name>] #默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend <name>   #前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend <name>    #后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen   <name>   #将frontend和backend合并在一起配置，相对于frontend和backend配置更简洁，生产常用


注意：name字段只能使用大小写字母，数字，‘-’(dash)，'_‘(underscore)，'.' (dot)和 ':'(colon)，并且严
格区分大小写

Proxies配置-defaults

defaults 配置参数：

option redispatch     　　            #当server Id对应的服务器挂掉后，强制定向到其他健康的服务器，重新派发
option abortonclose   　　            #当服务器负载很高时，自动结束掉当前队列处理比较久的连接，针对业务情况选择开启
option http-keep-alive　　            #开启与客户端的会话保持
option forwardfor    　　             #透传客户端真实IP至后端web服务器
mode http|tcp 　　　　　　　　　　       #设置默认工作类型,使用TCP服务器性能更好，减少压力
timeout http-keep-alive 120s 　　      #session 会话保持超时时间，此时间段内会转发到相同的后端服务器
timeout connect 120s 　　　　　　       #客户端请求从haproxy到后端server最长连接等待时间(TCP连接之前)，默认单位ms
timeout server 600s　　　　　　　　      #客户端请求从haproxy到后端服务端的请求处理超时时长(TCP连接之后)，默认单位ms，如果超时，会出现502错误，此值建议设置较大些，访止502错误
timeout client 600s　　　　　　         #设置haproxy与客户端的最长非活动时间，默认单位ms，建议和timeoutserver相同
timeout check   5s  　　　　　　　　　　 #对后端服务器的默认检测超时时间
default-server inter 1000 weight 3    #指定后端服务器的默认设置

Proxies配置-listen 简化配置

使用listen替换 frontend和backend的配置方式，可以简化设置，通常只用于TCP协议的应用

#官网业务访问入口
listen WEB_PORT_80
   bind 10.0.0.7:80  
   mode http
   option forwardfor
   server web1   10.0.0.17:8080   check inter 3000 fall 3 rise 5
   server web2   10.0.0.27:8080   check inter 3000 fall 3 rise 5

Proxies配置-frontend

frontend 配置参数：

bind： #指定HAProxy的监听地址，可以是IPV4或IPV6，可以同时监听多个IP或端口，可同时用于listen字段中

#格式：
bind [<address>]:<port_range> [, ...] [param*]

#注意：如果需要绑定在非本机的IP，需要开启内核参数：net.ipv4.ip_nonlocal_bind=1

backlog <backlog> #针对所有server配置,当前端服务器的连接数达到上限后的后援队列长度，注意：不支持backend

Proxies配置-backend

定义一组后端服务器，backend服务器将被frontend进行调用。

注意: backend 的名称必须唯一,并且必须在listen或frontend中事先定义才可以使用,否则服务无法启动

mode http|tcp     #指定负载协议类型,和对应的frontend必须一致
option #配置选项
server   #定义后端real server,必须指定IP和端口

注意：option后面加 httpchk，smtpchk,mysql-check,pgsql-check，ssl-hello-chk方法，可用于实现更 多应用层检测功能。

server 配置

#针对一个server配置
check 　　　　 #对指定real进行健康状态检查，如果不加此设置，默认不开启检查,只有check后面没有其它配置也可以启用检查功能
　　　　　　　　 #默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定端口才能实现健康性检查
 addr <IP>    #可指定的健康状态监测IP，可以是专门的数据网段，减少业务网络的流量
 port <num> 　#指定的健康状态监测端口
 inter <num>  #健康状态检查间隔时间，默认2000 ms
 fall <num>   #后端服务器从线上转为线下的检查的连续失效次数，默认为3
 rise <num>   #后端服务器从下线恢复上线的检查的连续有效次数，默认为2
weight <weight> #默认为1，最大值为256，0(状态为蓝色)表示不参与负载均衡，但仍接受持久连接
backup         #将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务，类似
Sorry Server
disabled        #将后端服务器标记为不可用状态，即维护状态，除了持久模式，将不再接受连接,状态为深黄色,优雅下线,不再接受新用户的请求
redirect prefix http://www.baidu.com/ #将请求临时(302)重定向至其它URL，只适用于http模式
redir http://www.baidu.com       #将请求临时(302)重定向至其它URL，只适用于http模式
maxconn <maxconn>              #当前后端server的最大并发连接数

frontend+backend 配置实例

frontend magedu-test-http
 bind :80,:8080
 mode tcp
 use_backend magedu-test-http-nodes
backend magedu-test-http-nodes
 mode tcp
 default-server inter 1000 weight 6  
 server web1 10.0.0.17:80 weight 2 check addr 10.0.0.117 port 8080
 server web1 10.0.0.27:80 check



#官网业务访问入口
frontend WEB_PORT_80
   bind 10.0.0.7:80
   mode http
   use_backend web_prot_http_nodes
backend web_prot_http_nodes
   mode http
   option forwardfor
   server 10.0.0.17 10.0.0.17:8080   check inter 3000 fall 3 rise 5  
   server 10.0.0.27 10.0.0.27:8080   check inter 3000 fall 3 rise 5

使用子配置文件保存配置

当业务众多时，将所有配置都放在一个配置文件中，会造成维护困难。可以考虑按业务分类，将配置信 息拆分，放在不同的子配置文件中，从而达到方便维护的目的。

注意: 子配置文件的文件后缀必须为.cfg

#创建子配置目录
[root@centos7 ~]#mkdir /etc/haproxy/conf.d/

#创建子配置文件，注意：必须为cfg后缀非.开头的配置文件
[root@centos7 ~]#vim   /etc/haproxy/conf.d/test.cfg
listen WEB_PORT_80
 bind 10.0.0.7:80
 mode http
 balance roundrobin
 server web1  10.0.0.17:80 check inter 3000 fall 2 rise 5
 server web2  10.0.0.27:80 check inter 3000 fall 2 rise 5

#添加子配置目录到unit文件中
[root@centos7 ~]#vim /lib/systemd/system/haproxy.service
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
#修改下面两行
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/  -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
[Install]
WantedBy=multi-user.target
[root@centos7 ~]#systemctl daemon-reload
[root@centos7 ~]#systemctl restart haproxy