Haproxy搭建Web群集

目录

1.常见的Web集群调度器

目前常见的Web集群调度器分为软件和硬件
（1）软件通常使用开源的LVS、Haproxy、Nginx
LVS 性能最好，但是搭建相对复杂;Nginx 的 upstream模块支持群集功能，但是对群集节点健康检查功能不强，高并发性能没有 Haproxy好。
（2）硬件一般使用比较多的是F5、Array，也有很多人使用国内的一些产品，如梭子鱼、绿盟等

（1）HAProxy的主要特性有

●可靠性和稳定性非常好，可以与硬件级的F5负载均衡设备相媲美；
●最高可以同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个，最大处理能力可达10Git/s；
●支持多达8种负载均衡算法
●支持Session会话保持，Cookie的引导；
●支持通过获取指定的url来检测后端服务器的状态；
●支持虚机主机功能，从而实现web负载均衡更加灵活；
●支持连接拒绝、全透明代理等独特的功能；
●拥有强大的ACL支持，用于访问控制；
●支持TCP和HTTP协议的负载均衡转发；
●支持客户端的keepalive功能，减少客户端与haproxy的多次三次握手导致资源浪费，让多个请求在一个tcp连接中完成

（2）LVS、Nginx、HAProxy的区别？

负载均衡转发性能：[ 硬件负载均衡 F5 > ] LVS 最好 > HAProxy 其次 > Nginx 弱于其它两款

1）支持的代理类型：
LVS是基于Linux内核实现的软负载均衡，只支持四层代理转发，且不支持正则表达式处理，不能做动静分离
Nginx、HAProxy都是基于应用层实现的软负载均衡，都支持四层和七层代理转发，且也支持正则表达式处理，能做动静分离

2）配置维护：
LVS 实施配置复杂，维护成本相对较高
Nginx、HAProxy 配置简单，维护成本较低

3）健康检查：
LVS可以配合Keepalived实现高可用，以及实现TCP端口或HTTP URL方式的健康检查
Nginx默认只支持被动方式的TCP端口健康检查，主动健康检查需要安装第三方模块nginx_upstream_check_module后才能支持
HAProxy默认就支持主动的TCP端口、HTTP URL、脚本等方式的健康检查

（3）HAProxy、Nginx、LVS的优缺点

（1）HAProxy的优点

●HAProxy也是支持虚拟主机的。
●HAProxy支持8种负载均衡策略。
●HAProxy的优点能够补充Nginx的一些缺点，比如支持Session的保持，Cookie的引导，同时支持通过获取指定的url来检测后端服务器的状态。
●HAProxy跟LVS类似，本身就只是一款负载均衡软件，单纯从效率上来讲HAProxy会比Nginx有更出色的负载均衡速度，在并发处理上也是优于Nginx的。
●HAProxy支持TCP协议的负载均衡转发。

（2）Nginx的优点

●工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构。Nginx正则规则比HAProxy更为强大和灵活。
●Nginx对网络稳定性的依赖非常小，理论上能ping通就就能进行负载功能，LVS对网络稳定性依赖比较大，稳定要求相对更高。
●Nginx安装和配置、测试比较简单、方便，有清晰的日志用于排查和管理，LVS的配置、测试就要花比较长的时间了。
●可以承担高负载压力且稳定，一般能支撑几万次的并发量，负载度比LVS相对小些。
●Nginx可以通过端口检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等。
●Nginx不仅仅是一款优秀的负载均衡器/反向代理软件，它同时也是功能强大的Web应用服务器。
●Nginx作为Web正向加速缓存越来越成熟了，速度比传统的Squid服务器更快，很多场景下都将其作为向代理加速器。
●Nginx作为静态网页和图片服务器，这方面的性能非常优秀，同时第三方模块也很多。

Nginx的缺点
●Nginx仅能支持http、https和Email协议，这样就在适用范围上面小些。
●对后端服务器的健康检查，只支持通过端口来检测，不支持通过url来检测。
●不支持Session的直接保持，需要通过ip_hash和cookie的引导来解决。

（3）LVS的优点

●抗负载能力强、是工作在网络4层之上仅作分发之用，没有流量的产生。因此负载均衡软件里的性能最强的，对内存和cpu资源消耗比较低。
●LVS工作稳定，因为其本身抗负载能力很强，自身有完整的双机热备方案。
●无流量，LVS只分发请求，而流量并不从它本身出去，这点保证了均衡器IO的性能不会收到大流量的影响。
●应用范围较广，因为LVS工作在4层，所以它几乎可对所有应用做负载均衡，包括http、数据库等。

LVS的缺点
●软件本身不支持正则表达式处理，不能做动静分离。相对来说，Nginx/HAProxy+Keepalived则具有明显的优势。
●如果是网站应用比较庞大的话，LVS/DR+Keepalived实施起来就比较复杂了。相对来说，Nginx/HAProxy+Keepalived就简单多了。

（4）HAProxy提供了3种实现会话保持的方式

(1)源地址hash balance source

(2)设置cookie
cookie HA_STICKY_dy insert indirect nocache
server tomcat.inst1 192.168.80.11:8080 cookie tomcat.inst1

(3)会话粘性表stick-table
stick-table type ip size 5k expire 1m
stick on src

（5）Haproxy调度算法

HAProxy负载均衡调度算法
roundrobin 轮询
static-rr 加权轮询
leastconn 最小连接
source 根据源地址做哈希
uri 根据请求的URI地址做哈希
url_param 根据请求的URL路径里传递的参数做哈希
hdr(name) 根据请求头的字段做哈希
rdp-cookie(name) 根据cookie里的字段做哈希

2.Haproxy群集配置

Haproxy服务器：20.0.0.100
Nginx 服务器1：20.0.0.130
Nginx 服务器2：20.0.0.140

-------haproxy 服务器部署----------

cd /mnt/Packages/
ls | grep haproxy
http://www.haproxy.org


1.关闭防火墙，将安装Haproxy所需软件包传到/opt目录下
systemctl stop firewalld
setenforce 0
systemctl disable firewalld
vim /etc/selinux/config
  disabled
cd /opt/
ra -E 上传haproxy-2.8.9.tar.gz
rm -rf rh
ls
tar xf haproxy-2.8.9.tar.gz
ls 
cd haproxy-2.8.9/
ls


2.安装 Haproxy
//编译安装
yum install -y gcc gcc-c++ make zlib-devel pcre-devel openssl-devel systemd-devel
useradd -M -s /sbin/nologin haproxy
ls
pwd
hostnamectl
make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1
make install PREFIX=/usr/local/haproxy
cd /usr/local/
ls
ls haproxy/
cd /opt/haproxy-2.8.9/
ls
cd examples/
ls


3.Haproxy服务器配置
mkdir /etc/haproxy
cp quick-test.cfg /etc/haproxy/haproxy.cfg
vim haproxy.init

26行
[ "${NETWORKING}" = "no" ] && exit 0

cp haproxy.init /etc/init.d/haproxy
cd /etc/init.d/
ll
chmod +x haproxy

cd /etc/haproxy
vim haproxy.cfg
global
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning	
    maxconn 30000
    pidfile     /var/run/haproxy.pid
    user haproxy
    group haproxy
    daemon
    spread-checks 2
    
defaults     
    log     global	
    mode    http
    option  httplog
    option  http-server-close
    option  forwardfor
    option  dontlognull
    option  redispatch
    option  abortonclose
    maxconn 20000
    retries 3
    timeout http-request 2s
    timeout queue 3s
    timeout connect 1s
    timeout client 10s
    timeout server 2s
    timeout http-keep-alive 10s
    timeout check 2s
    
frontend http-xlb666
    bind 20.0.0.100:80
    #maxconn 20000
    #acl url_static   path_end  -i .html .htm .txt .css .jpg .png .git .mp4 .mp3
    acl url_jsp path_end -i .jsp
    
    #use_backend static_backend if url_static
    use_backend tomcat_backend if url_jsp
    default_backend nginx_backend
    
backend nginx_backend  
    balance roundrobin
    option http-keep-alive
    option httpchk     GET /test.html
    server nginx.inst1 20.0.0.130:80 maxconn 10000 check inter 2000 rise 2 fall 3
    server nginx.inst2 20.0.0.140:81 maxconn 10000 check inter 2000 rise 2 fall 3
    
backend tomcat_backend   
    balance roundrobin
    #option httpchk     GET /test.html
    #cookie HA_STICKY_dy insert indirect nocache
    server tomcat.inst1 20.0.0.130:80 maxconn 10000 check inter 2000 rise 2 fall 3
    server tomcat.inst2 20.0.0.140:81 maxconn 10000 check inter 2000 rise 2 fall 3
    
listen stats   
    # this is the address and port we'll listen to, the ones to aim the
    # load generators at
    bind :8000             
    stats enable                  
    stats refresh 30s            
    stats uri /stats             
    stats realm HAProxy\ Stats    
    stats auth admin/admin123       
    #create a certificate and uncomment this for SSL
    
service haproxy restart    
    
haproxy -c -f haproxy.cfg  #排错    
      

4.添加haproxy 系统服务
cd /usr/local/haproxy/
ls
ls sbin/
vim /etc/init.d/haproxy
ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin/
haproxy -v
cd /etc/init.d/
ls
chkconfig --add haproxy
chkconfig --list haproxy

chkconfig --level 35 haproxy on
chkconfig --list haproxy

cd /etc/haproxy/
ls
service haproxy start
vim haproxy.cfg
netstat -lntp | grep 8000


----节点服务器部署------
systemctl stop firewalld
setenforce 0
systemctl disable firewalld
vim /etc/selinux/config
  disabled

rz -E上传 apache-tomcat-9.0.89.tar.gz nginx-1.26.1-2.el7.ngx.x86_64.rpm
rpm -ivh nginx-1.26.1-2.el7.ngx.x86_64.rpm
cd /usr/share/nginx/hyml/
ls
echo '<h1>this is test web1 page!</h1>' > test.html
ls

//Nginx2
echo '<h1>this is test web1 page!</h1>' > test.html
ls

systemctl start nginx
systemctl enable nginx

cd /opt/
ls
tar xf apache-tomcat-9.0.89.tar.gz
ls
cd /opt/apache-tomcat-9.0.89/
ls
cd ..
ls 
mv apache-tomcat-9.0.89 /usr/local/tomcat
cd /usr/local/
ls 
cd tomcat/
ls
./bin/startup.sh
java -version
cd webapps/
ls
cd ROOR/
ls
cd WEB-INF/
ls
cd ..
ls

http://20.0.0.130:8080

vim test.jsp
 
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<body>
<% out.println("动态页面1"); %>
</body>
</html>
 
 
http://20.0.0.130:8080/test.jsp 
 
//Nginx2  #服务器2不同处
vim test.jsp
 
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<body>
<% out.println("动态页面2"); %>
</body>
</html>

http://20.0.0.140:8080/test.jsp 

http://20.0.0.100:8080/test.html
http://20.0.0.100:8080/test.jsp


3.Haproxy日志管理

#为 rsyslog 添加 haproxy 日志的配置
mkdir /var/log/haproxy
 
vim /etc/rsyslog.d/haproxy.conf
$ModLoad imudp
$UDPServerRun 514
$FileCreateMode 0644                               #日志文件的权限
$FileOwner haproxy                                 #日志文件的owner
local0.*     /var/log/haproxy/haproxy.log          #local0接口对应的日志输出文件
local1.*     /var/log/haproxy/haproxy_warn.log     #local1接口对应的日志输出文件
 

#修改 rsyslog 的启动参数
vim /etc/sysconfig/rsyslog
......
SYSLOGD_OPTIONS="-c 2 -r -m 0"

#重启 rsyslog 和 HAProxy
service rsyslog restart
service haproxy restart
 
tail -f /var/log/haproxy/haproxy.log

4.使用 Keepalived 实现 HAProxy 高可用-

yum install -y keepalived

vim /etc/keepalived/check_haproxy.sh
#!/bin/bash
#使用killall -0检查haproxy实例是否存在，性能高于ps命令
if ! killall -0 haproxy; then
  systemctl stop keepalived
fi


chmod +x /etc/keepalived/check_haproxy.sh

vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
    router_id LVS_HA1    #虚拟路由名称
}

#HAProxy健康检查配置
vrrp_script chk_haproxy {
    script "/etc/keepalived/check_haproxy.sh"    #指定健康检查脚本
    interval 2                                   #脚本运行周期
    weight 2                                     #每次检查的加权权重值
}

#虚拟路由配置
vrrp_instance VI_1 {
    state MASTER              #本机实例状态，MASTER/BACKUP，备机配置文件中设置BACKUP
    interface ens33           #本机网卡名称，使用ifconfig命令查看
    virtual_router_id 51      #虚拟路由编号，主备机保持一致
    priority 100              #本机初始权重，备机设置小于主机的值
    advert_int 1              #争抢虚地址的周期，秒
    virtual_ipaddress {
        192.168.80.100        #虚地址IP，主备机保持一致
    }
    track_script {
        chk_haproxy           #对应的健康检查配置
    }
}


systemctl start keepalived

ip addr

#停掉当前MASTER主i机的HAProxy实例，进行故障切换测试
service haproxy stop

5.Haproxy参数优化

（1）内核优化

#linux资源限制用户进程的数量
vim /etc/security/limits.conf

* soft nofile 65535  #任何用户可以打开的最大的文件描述符数量，默认1024，这里的数值会限制tcp连接
* hard nofile 65535
* soft nproc  65535  #任何用户可以打开的最大进程数
* hard nproc  65535

vim /etc/sysctl.conf

net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30

net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
net.core.somaxconn = 32768 

sysctl -p



posted @ 2024-06-19 14:25  无敌小鲁班  阅读(7)  评论(0)  编辑  收藏  举报