HAProxy、Tomcat

一、编译安装haproxy

一键安装脚本

#!/bin/bash
# 编译安装HAProxy
 
. /etc/init.d/functions
#HAproxy版本
HAProxy_version=haproxy-2.6.1
TAR=tar.gz
HAProxy=${HAProxy_version}.${TAR}
#HAProxy源码下载地址
HAProxy_url=http://www.haproxy.org/download/2.6/src/haproxy-2.6.1.tar.gz
# haproxy安装路径
HAProxy_install_DIR=/apps/haproxy
#lua版本
Lua_version=lua-5.3.5
TAR_lua=tar.gz
Lua=${Lua_version}.${TAR_lua}
#lua源码下载地址
Lua_url=http://www.lua.org/ftp/${Lua}
 
# CPU数量
CPUS=`lscpu|grep "^CPU(s)"|awk '{print $2}'`
# 系统类型
os_type=`grep "^NAME" /etc/os-release |awk -F'"| ' '{print $2}'`
# 系统版本号
os_version=`awk -F'"' '/^VERSION_ID/{print $2}' /etc/os-release`
 
color () {
if [[ $2 -eq 0 ]];then
    echo -e "\e[1;32m$1\t\t\t\t\t\t[  OK  ]\e[0;m"
else
    echo $2
    echo -e "\e[1;31m$1\t\t\t\t\t\t[ FAILED ]\e[0;m"
fi
}
 
download_lua (){
cd /opt
if [ -e ${Lua} ];then
	color "lua安装包已存在" 0
else
	color "开始下载lua安装包" 0
	wget ${Lua_url}
	if [ $? -ne 0 ];then
		color "下载lua安装包失败，退出！" 1
		exit 1
	fi
 
fi
}
 
download_haproxy (){
cd /opt
if [ -e ${HAProxy} ];then
	color "haproxy安装包已存在" 0
else
	color "开始下载haproxy安装包" 0
	wget ${HAProxy_url}
	if [ $? -ne 0 ];then
		color "下载haproxy安装包失败，退出！" 1
		exit 1
	fi
fi
}
 
update_lua (){
# 安装依赖包
yum -y install gcc readline-devel
# 解压源码包
tar -xvf /opt/${Lua} -C /usr/local/src
ln -s /usr/local/src/${Lua_version} /usr/local/src/lua
# 编译安装
cd /usr/local/src/lua
make linux test
}
 
install_haproxy (){
# 安装依赖包
yum -y install gcc openssl-devel pcre-devel systemd-devel
# 解压源码包
tar xvf /opt/${HAProxy} -C /usr/local/src
ln -s /usr/local/src/${HAProxy_version} /usr/local/src/haproxy
# 编译安装
cd /usr/local/src/haproxy
make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/usr/local/src/lua/src/ LUA_LIB=/usr/local/src/lua/src/
make install PREFIX=${HAProxy_install_DIR}
ln -s ${HAProxy_install_DIR}/sbin/haproxy /usr/sbin/
# 准备服务启动配置文件
## 添加用户
useradd -r -s /sbin/nologin -d /var/lib/haproxy haproxy
mkdir -p /etc/haproxy
mkdir -p /var/lib/haproxy
## 准备service服务
cat > /usr/lib/systemd/system/haproxy.service <<EOF
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
 
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000
 
[Install]
WantedBy=multi-user.target
EOF
###准备haproxy配置文件
cat > /etc/haproxy/haproxy.cfg <<EOF
global
	maxconn 100000
	chroot ${HAProxy_install_DIR}
	stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
	#uid 99
	#gid 99
	user haproxy
	group haproxy
	daemon
	#nbproc 4
	#cpu-map 1 0
	#cpu-map 2 1
	#cpu-map 3 2
	#cpu-map 4 3
	pidfile /var/lib/haproxy/haproxy.pid
	log 127.0.0.1 local2 info
 
defaults
	option http-keep-alive
	option forwardfor
	maxconn 100000
	mode http
	timeout connect 300000ms
	timeout client 300000ms
	timeout server 300000ms
 
listen stats
	mode http
	bind 0.0.0.0:9999
	stats enable
	log global
	stats uri	/haproxy-status
	stats auth	haadmin:123456
 
listen web_port
	bind 0.0.0.0:80
	mode http
	log global
	server web1	127.0.0.1:8080 check inter 3000 fall 2 rise 5
EOF
 
systemctl daemon-reload
systemctl enable --now haproxy
systemctl is-active haproxy
 
if [ $? -ne 0 ];then
	color "haproxy服务启动失败！" 1
	exit 1
else
	color "haproxy服务启动成功" 0
fi
}
 
download_lua
 
download_haproxy
 
update_lua
 
install_haproxy
 
exit 0

查看端口

[root@shichu opt]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2022-06-28 00:22:44 CST; 2min 7s ago
  Process: 2077 ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q (code=exited, status=0/SUCCESS)
 Main PID: 2079 (haproxy)
   CGroup: /system.slice/haproxy.service
           ├─2079 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
           └─2084 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
 
Jun 28 00:22:44 shichu systemd[1]: Starting HAProxy Load Balancer...
Jun 28 00:22:44 shichu systemd[1]: Started HAProxy Load Balancer.
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : haproxy version is 2.6.1-f6ca66d
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : path to executable is /usr/sbin/haproxy
Jun 28 00:22:44 shichu haproxy[2079]: [ALERT]    (2079) : config : parsing [/etc/haproxy/haproxy.cfg:15] : 'pidfile' already specified. Continuing.
Jun 28 00:22:44 shichu haproxy[2079]: [WARNING]  (2079) : config : ca-file: '@system-ca' couldn't load '/etc/pki/tls/certs/ca-bundle.trust.crt'
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : New worker (2084) forked
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : Loading success.
Jun 28 00:22:44 shichu haproxy[2079]: [WARNING]  (2084) : Server web_port/web1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 5ms. 0 active and 0 back...ining in queue.
Jun 28 00:22:44 shichu haproxy[2079]: [ALERT]    (2084) : proxy 'web_port' has no server available!
Hint: Some lines were ellipsized, use -l to show in full.
 
 
[root@shichu opt]# netstat -ntlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name  
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      900/sshd          
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1052/master       
tcp        0      0 0.0.0.0:9999            0.0.0.0:*               LISTEN      2084/haproxy      
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      634/rpcbind       
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      2084/haproxy      
tcp6       0      0 :::22                   :::*                    LISTEN      900/sshd          
tcp6       0      0 ::1:25                  :::*                    LISTEN      1052/master       
tcp6       0      0 :::111                  :::*                    LISTEN      634/rpcbind

二、总结haproxy各调度算法的实现方式及其应用场景

1. 静态算法

按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度等，且无法实时修改权重(只能为0和1,不支持其它值)，只能靠重启HAProxy生效。

  1. static-rr

    基于权重的轮询调度，不支持运行时利用socat进行权重的动态调整（只支持0和1，不支持其他值）及后端服务器慢启动，其后端主机数量没有限制，相当于LVS中的wrr。

    配置示例

    		listen web_host
    			bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    			mode http
    			log global
    			balance static-rr
    			server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    			server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5

  2. first

    根据服务器在列表中的位置，自上而下进行调度，但是其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务，因此会忽略服务器的权重设置，此方式使用较少。

    不支持使用socat进行动态修改权重，可以设置0和1，可以设置其他值但无效

    配置示例

    		listen web_host
    			bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    			mode http
    			log global
    			balance first
    			server web1 10.0.0.17:80 maxconn 2 weight 1 check inter 3000 fall 2 rise 5
    			server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

2. 动态算法

动态算法：基于后端服务器状态进行调度适当调整，新请求将优先调度至当前负载较低的服务器，且权重可以在haproxy运行时动态调整无需重启。

  1. roundronbin

    基于权重的轮询动态调度算法，支持权重的运行时调整，不同于lvs中的rr轮询模式，HAProxy中的roundrobin支持慢启动（新加的服务器会逐渐增加转发数），其每个后端backend中对多支持4095个real server，支持对real server权重动态调整，roundrobin为默认调度算法，此算法使用广泛。

    配置示例

    		listen web_host
    			bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    			mode http
    			log global
    			balance roundrobin
    			server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    			server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5

    支持动态调整权重

    		# echo "get weight web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock 
    		1 (initial 1)
    		 
    		# echo "set weight web_host/web1 3" | socat stdio /var/lib/haproxy/haproxy.sock 
    		 
    		# echo "get weight web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock 
    		3 (initial 1)

  2. leastconn

    加权的最少连接的动态，支持权重的运行时调整和慢启动，即:根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接)，比较适合长连接的场景使用，比如：MySQL等场景。

    配置示例

    		listen web_host
    			bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    			mode http
    			log global
    			balance leastconn
    			server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    			server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

  3. random

    在1.9版本开始增加 random的负载平衡算法，其基于随机数作为一致性hash的key，随机负载平衡对于大型服务器场或经常添加或删除服务器非常有用，支持weight的动态调整，weight较大的主机有更大概率获取新请求。

    配置示例

    		listen web_host
    			bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    			mode http
    			log global
    			balance random
    			server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    			server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

3. 其他算法

即可作为静态算法，又可以通过选项成为动态算法

1）souce

源地址hash，基于用户源地址hash并将请求转发到后端服务器，后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时，会导致很多用户的请求转发至新的后端服务器，默认为静态方式，但是可以通过hash-type支持的选项更改。

这个算法一般是在不插入Cookie的TCP模式下使用，也可给拒绝会话cookie的客户提供最好的会话粘性，适用于session会话保持但不支持cookie和缓存的场景。

源地址有两种转发客户端请求到后端服务器的服务器选取计算方式，分别是取模法和一致性hash。

  1. map-based取模法

    取模法，对source即源地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请求转发至对应的后端服务器。此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度。缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果整体改变，hash-type 指定的默认值为此算法

    		map-based算法：基于权重取模，hash(source_ip)%所有后端服务器相加的总权重

    配置示例

    		listen web_host
    			bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    			mode tcp
    			log global
    			balance source
    			hash-type map-based 
    			server web1  10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 3
    			server web2  10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 3
    		  
    		#不支持动态调整权重值
    		[root@haproxy ~]#echo "set weight web_host/10.0.0.27 10" | socat stdio /var/lib/haproxy/haproxy.sock 
    		Backend is using a static LB algorithm and only accepts weights '0%' and '100%'. 
    		 
    		#只能动态上线和下线
    		[root@haproxy ~]#echo "set weight web_host/10.0.0.27 0" | socat stdio /var/lib/haproxy/haproxy.sock 
    		[root@haproxy conf.d]#echo "get weight web_host/10.0.0.27" | socat stdio /var/lib/haproxy/haproxy.sock 
    		0 (initial 1)

  2. 一致性hash

    一致性哈希，当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动，hash（o）mod n ，该hash算法是动态的，支持使用 socat等工具进行在线权重调整，支持慢启动。

    算法：

    		1、key1=hash(source_ip)%(2^32) [0---4294967295]
    		2、keyA=hash(后端服务器虚拟ip)%(2^32)
    		3、将key1和keyA都放在hash环上，将用户请求调度到离key1最近的keyA对应的后端服务器

    hash环偏斜问题

    		增加虚拟服务器IP数量，比如：一个后端服务器根据权重为1生成1000个虚拟IP，再hash。而后端服务器权重为2则生成2000的虚拟IP，再bash,
    		最终在hash环上生成3000个节点，从而解决hash环偏斜问题。

    配置示例

    		listen web_host
    			bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    			mode tcp
    			log global
    			balance source
    			hash-type consistent
    			server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    			server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

2）uri

基于对用户请求的URI的左半部分或整个uri做hash，再将hash结果对总权重进行取模后，根据最终结果将请求转发到后端指定服务器，适用于后端是缓存服务器场景，默认是静态算法，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash。

注意：此算法基于应用层，所以只支持 mode http ，不支持 mode tcp

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
左半部分：/<path>;<params>
整个uri：/<path>;<params>?<query>#<frag>

uri取模法配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance uri
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

uri 一致性hash配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance uri
	hash-type consistent
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

3）url_param

url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算，并由服务器总权重相除以后派发至某挑出的服务器；通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server，如果无没key，将按roundrobin算法。

# 假设：
url = http://www.magedu.com/foo/bar/index.php?key=value
 
# 则：
host = "www.magedu.com"
url_param = "key=value"

取模法配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance url_param userid		#url_param hash
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

一致性hash配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance url_param userid		#对url_param的值取hash
	hash-type consistent
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

4）hdr

针对用户每个http头部(header)请求中的指定信息做hash，此处由name指定的http首部将会被取出并做hash计算，然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度。

取模法配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance hdr(User-Agent)
	#balance hdr(host)
	  
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

一致性hash配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance hdr(User-Agent)
	hash-type consistent
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

rdp-cookie对远windows远程桌面的负载，使用cookie保持会话，默认是静态，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash。

取模法配置示例

listen RDP
	bind 10.0.0.7:3389
	balance rdp-cookie
	mode tcp
	server rdp0 10.0.0.17:3389 check fall 3 rise 5 inter 2000 weight 1

一致性hash配置示例

listen magedu_RDP_3389
	bind  172.16.0.100:3389
	balance rdp-cookie
	hash-type consistent
	mode tcp
	server rdp0 10.0.0.200:3389 check fall 3 rise 5 inter 2000 weight 1

注意：基于iptables实现RDP协议转发，必须开启ip转发功能： net.ipv4.ip_forward = 1。

4. 算法总结

#静态
static-rr--------->tcp/http  
first------------->tcp/http
 
#动态
roundrobin-------->tcp/http
leastconn--------->tcp/http
random------------>tcp/http
 
#以下静态和动态取决于hash_type是否consistent
source------------>tcp/http
Uri--------------->http
url_param--------->http     
hdr--------------->http
rdp-cookie-------->tcp

5. 适用场景

static-rr			#做session共享的web集群
first 				#使用较少
 
roundrobin			#默认调度算法
leastconn			#数据库
random				#对于大型服务器场或经常添加或删除服务器非常有用
 
source				#基于客户端公网IP的会话保持
 
Uri				#缓存服务器，CDN服务商，蓝汛、百度、阿里云、腾讯
url_param			#可以实现session保持
 
hdr				#基于客户端请求报文头部做下一步处理
rdp-cookie			#基于Windows主机,很少使用

三、使用haproxy的ACL实现基于文件后缀名的动静分离

访问控制列表（ACL，Access Control Lists）是一种基于包过滤的访问控制技术，它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)，即对接收到的报文进行匹配和过滤，基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进一步操作，比如允许其通过或丢弃。

官网帮助：http://cbonte.github.io/haproxy-dconv/2.1/configuration.html#7

1. ACL配置选项

acl   <aclname> <criterion>   [flags]     [operator]   [<value>]
acl     名称     匹配规范     匹配模式     具体操作符     操作对象类型

1) Name

acl   image_service hdr_dom(host)   -i   img.magedu.com
 
#ACL名称，可以使用大字母A-Z、小写字母a-z、数字0-9、冒号：、点.、中横线和下划线，并且严格区分大小写，比如:my_acl和My_Acl就是两个完全不同的acl

2) criterion

定义ACL匹配规范，即：判断条件

hdr string，提取在一个HTTP请求报文的首部
hdr（[<name> [，<occ>]]）：完全匹配字符串,header的指定信息，<occ> 表示在多值中使用的值的出现次数
hdr_beg（[<name> [，<occ>]]）：前缀匹配，header中指定匹配内容的begin
hdr_end（[<name> [，<occ>]]）：后缀匹配，header中指定匹配内容end
hdr_dom（[<name> [，<occ>]]）：域匹配，header中的domain name
hdr_dir（[<name> [，<occ>]]）：路径匹配，header的uri路径
hdr_len（[<name> [，<occ>]]）：长度匹配，header的长度匹配
hdr_reg（[<name> [，<occ>]]）：正则表达式匹配，自定义表达式(regex)模糊匹配
hdr_sub（[<name> [，<occ>]]）：子串匹配，header中的uri模糊匹配
 
#示例：
hdr(<string>) 用于测试请求头部首部指定内容
hdr_dom(host) 请求的host名称，如 www.magedu.com
hdr_beg(host) 请求的host开头，如 www.   img.   video.   download.   ftp.
hdr_end(host) 请求的host结尾，如 .com   .net   .cn 
#示例：
acl bad_agent hdr_sub(User-Agent) -i curl wget
block if bad_agent
#有些功能是类似的，比如以下几个都是匹配用户请求报文中host的开头是不是www
acl short_form hdr_beg(host)       www.
acl alternate1 hdr_beg(host) -m beg www.
acl alternate2 hdr_dom(host) -m beg www.
acl alternate3 hdr(host)     -m beg www.
base : string
#返回第一个主机头和请求的路径部分的连接，该请求从主机名开始，并在问号之前结束,对虚拟主机有用
<scheme>://<user>:<password>@#<host>:<port>/<path>;<params>#?<query>#<frag>
 base     : exact string match
 base_beg : prefix match
 base_dir : subdir match
 base_dom : domain match
 base_end : suffix match
 base_len : length match
 base_reg : regex match
 base_sub : substring match
path : string
#提取请求的URL路径，该路径从第一个斜杠开始，并在问号之前结束（无主机部分）
<scheme>://<user>:<password>@<host>:<port>#/<path>;<params>#?<query>#<frag>
 path     : exact string match
 path_beg : prefix match  #请求的URL开头，如/static、/images、/img、/css
 path_end : suffix match  #请求的URL中资源的结尾，如 .gif .png .css .js .jpg .jpeg
 path_dom : domain match
 path_dir : subdir match
 path_len : length match
 path_reg : regex match
 path_sub : substring match
#示例：
 path_beg -i /haproxy-status/ 
 path_end .jpg .jpeg .png .gif 
 path_reg ^/images.*\.jpeg$ 
 path_sub image
 path_dir jpegs 
 path_dom magedu
 
url : string
#提取请求中的整个URL。一个典型的应用是具有预取能力的缓存，以及需要从数据库聚合多个信息并将它们保
存在缓存中的网页门户入口，推荐使用path
 url ：exact string match
 url_beg : prefix match
 url_dir : subdir match
 url_dom : domain match
 url_end : suffix match
 url_len : length match
 url_reg : regex match
 url_sub : substring match
 
dst #目标IP
dst_port #目标PORT
src   #源IP
src_port #源PORT
#示例：
acl invalid_src src 10.0.0.7 192.168.1.0/24
acl invalid_src src 172.16.0.0/24
acl invalid_port src_port 0:1023
status : integer  #返回在响应报文中的状态码
#七层协议
acl valid_method method GET HEAD
http-request deny if ! valid_method

3) flags

ACL匹配模式

-i 不区分大小写
-m 使用指定的pattern匹配方法
-n 不做DNS解析
-u 禁止acl重名，否则多个同名ACL匹配或关系

4) operator

ACL 操作符

整数比较：eq、ge、gt、le、lt
字符比较：
- exact match     (-m str) :字符串必须完全匹配模式
- substring match (-m sub) :在提取的字符串中查找模式，如果其中任何一个被发现，ACL将匹配
- prefix match   (-m beg) :在提取的字符串首部中查找模式，如果其中任何一个被发现，ACL将匹配
- suffix match   (-m end) :将模式与提取字符串的尾部进行比较，如果其中任何一个匹配，则ACL进
行匹配
- subdir match   (-m dir) :查看提取出来的用斜线分隔（“/"）的字符串，如其中任一个匹配，则
ACL进行匹配
- domain match   (-m dom) :查找提取的用点（“."）分隔字符串，如果其中任何一个匹配，则ACL进
行匹配

5) value

value的类型

The ACL engine can match these types against patterns of the following types :
- Boolean #布尔值
- integer or integer range #整数或整数范围，比如用于匹配端口范围
- IP address / network #IP地址或IP范围, 192.168.0.1 ,192.168.0.1/24
- string--> www.magedu.com
 exact #精确比较
 substring #子串
 suffix #后缀比较
 prefix #前缀比较
 subdir #路径， /wp-includes/js/jquery/jquery.js
 domain #域名，www.magedu.com
- regular expression #正则表达式
- hex block #16进制

6）多个ACL的组合调用方式

多个ACL的逻辑处理

与：隐式（默认）使用
或：使用“or" 或 “||"表示
否定：使用 "!" 表示

多个ACL调用方式：

#示例：
if valid_src valid_port #与关系，ACL中A和B都要满足为true，默认为与
if invalid_src || invalid_port  #或，ACL中A或者B满足一个为true
if ! invalid_src #非，取反，不满足ACL才为true

2. 架构

HAPoxy
10.0.0.7
static-web
10.0.0.17
php-web
10.0.0.27
Client

3. 配置

  1. HAProxy（10.0.0.7）

    • 配置/etc/haproxy/conf.d/shi.cfg
    		frontend shi_http_port
    		    bind 10.0.0.7:80
    		    mode http
    		    balance roundrobin
    		    log global
    		    option httplog
    		 
    		 
    		#acl setting
    		acl acl_static path_end -i .gif .png .css .js .jpg .jpeg
    		acl acl_php    path_end -i .php
    		 
    		#acl hosts
    		use_backend static_hosts if acl_static
    		use_backend  php_hosts    if acl_php
    		default_backend default_hosts
    		 
    		#backend hosts
    		#static服务器配置
    		backend static_hosts
    		    mode http
    		    server web1 10.0.0.17 check inter 2000 fall 3 rise 5
    		 
    		#php服务器配置
    		backend php_hosts
    		    mode http
    		    server web2 10.0.0.27 check inter 2000 fall 3 rise 5
    		 
    		#默认服务器配置
    		backend default_hosts
    		    mode http
    		    server web2 10.0.0.27 check inter 2000 fall 3 rise 5
    • 修改service文件
    		[root@shichu haproxy]# cat /lib/systemd/system/haproxy.service 
    		[Unit]
    		Description=HAProxy Load Balancer
    		After=syslog.target network.target
    		 
    		[Service]
    		#下面两行添加子配置文件路径/etc/haproxy/conf.d/
    		ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -c -q
    		ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -p /var/lib/haproxy/haproxy.pid
    		ExecReload=/bin/kill -USR2 $MAINPID
    		LimitNOFILE=100000
    		 
    		[Install]
    		WantedBy=multi-user.target
    • 重启服务
    		systemctl daemon-reload
    		systemctl restart haproxy

  2. static-web（10.0.0.17）

    • 安装nginx

    • 上传static.jpg图片至/usr/share/nginx/html/目录下

  3. php-web（10.0.0.27）

    • 安装nginx

    • 准备页面

      		#index.html
      		[root@shichu html]# cat index.html 
      		10.0.0.27 
      		 
      		#test.php 
      		[root@shichu html]# cat test.php 
      		<?php
      		echo "<h1>http://10.0.0.27/test.php</h1>\n";
      		?>

4. 访问验证

  • 访问图片调度至static服务器（10.0.0.17）

  • 访问php类型文件调度至php服务器（10.0.0.27）

  • 访问其他类型文件调度至默认服务器（10.0.0.27）

四、haproxy https实现

haproxy可以实现https的证书安全,从用户到haproxy为https,从haproxy到后端服务器用http通信但基于性能考虑,生产中证书都是在后端服务器比如nginx上实现。

#配置HAProxy支持https协议，支持ssl会话；
	bind *:443 ssl crt /PATH/TO/SOME_PEM_FILE
 
#指令 crt 后证书文件为PEM格式，需要同时包含证书和所有私钥
	cat demo.key demo.crt > demo.pem
 
#把80端口的请求重向定443
	bind *:80
	redirect scheme https if !{ ssl_fc }
 
#向后端传递用户请求的协议和端口（frontend或backend）
	http_request set-header X-Forwarded-Port %[dst_port]
	http_request add-header X-Forwared-Proto https if { ssl_fc }

架构

https
http
http
client
HAProxy
10.0.0.7
m.shichu.org
Web1
10.0.0.17
www.shichu.org
Web2
10.0.0.27

配置

  1. haproxy（10.0.0.7）

    • 证书制作
    		mkir -p /etc/haproxy/ssl
    		cd /etc/haproxy/ssl
    		openssl req -x509 -newkey rsa:2048 -subj "/CN=www.shichu.org" -keyout haproxy.key -nodes -days 365 -out haproxy.crt
    		cat haproxy.crt haproxy.key > haproxy.pem
    • https配置
    		[root@shichu conf.d]# cat www.cfg 
    		frontend shi_http_port
    		    bind 10.0.0.7:80
    		    ###### https setting ######
    		    bind 10.0.0.7:443 ssl crt /etc/haproxy/ssl/haproxy.pem  #证书路径
    		    redirect scheme https if !{ ssl_fc }  #注意{  }内空格
    		    http-request set-header X-forwarded-Port %[dst_port]
    		    http-request add-header X-forwarded-Proto https if { ssl_fc }
    		 
    		    mode http
    		    balance roundrobin
    		    log global
    		    option httplog
    		 
    		###### acl setting ######
    		acl mobile_domain hdr_dom(host) -i m.shichu.org
    		 
    		###### acl hosts ######
    		use_backend mobile_hosts if mobile_domain
    		default_backend pc_hosts
    		 
    		 
    		##### backend hosts  #####
    		backend mobile_hosts
    		    mode http
    		    server web1 10.0.0.17:80 check inter 2000 fall 3 rise 5
    		 
    		backend pc_hosts
    		    mode http
    		    #http-request set-header X-forwarded-Port %[dst_port]也可加在此处
    		    #http-request add-header X-forwarded-Proto https if { ssl_fc }  
    		    server web2 10.0.0.27:80 check inter 2000 fall 3 rise 5

    重启服务

    systemctl restart haproxy

  2. Web1（10.0.0.17 m.shichu.org）

    		[root@web1 html]# cat /usr/share/nginx/html/index.html 
    		m.shichu.org  10.0.0.17

  3. Web2（10.0.0.27 www.shichu.org）

    		[root@web2 ~]# cat /usr/share/nginx/html/index.html 
    		10.0.0.27

访问验证

  • 访问m.shichu.org跳转至web1服务器

  • 访问www.shichu.org跳转至web2服务器

五、总结tomcat的核心组件以及根目录结构

1. 目录结构

目录 说明
bin 服务启动、停止等相关程序和文件
conf 配置文件
lib 库文件
logs 日志记录
webapps 应用程序，应用部署目录
work jsp编译后的结果文件，建议提前访问生成

2. 配置文件

文件名 说明
server.xml 主配置文件
web.xml 每个webapp只有“部署”后才能被访问，它的部署方式通常由web.xml进行定义，其存放位置为WEB-INF/目录中；此文件为所有的webapps提供默认部署相关的配置,每个web应用也可以使用专用配置文件,来覆盖全局文件
context.xml 用于定义所有web应用均需加载的Context配置，此文件为所有的webapps提供默认配置，每个web应用也可以使用自已专用的配置，它通常由专用的配置文件context.xml来定义，其存放位置为WEB-INF/目录中,覆盖全局的文件
tomcat-user.xml 用户认证的账号和密码文件
catalina.policy 当使用security选项启动tomcat时，用于为tomcat设置安全策略
catalina.properties Tomcat 环境变量的配置，用于设定类加载器路径，以及一些与JVM调优相关参数
logging.properties Tomcat 日志系统相关的配置，可以修改日志级别和日志路径等

注意：配置文件大小写敏感

3. 组件

1）Tomcat 组件分类

顶级组件

Server，代表整个Tomcat容器，一台主机可以启动多tomcat实例，需要确保端口不要产生冲突

服务类组件

Service，实现组织Engine和Connector，建立两者之间关联关系, service 里面只能包含一个Engine

连接器组件

Connector，有HTTP（默认端口8080/tcp）、HTTPS（默认端口8443/tcp）、AJP（默认端口8009/tcp）协议的连接器，AJP（Apache Jserv protocol）是一种基于TCP的二进制通讯协议。

容器类

Engine、Host（虚拟主机）、Context(上下文件,解决路径映射)都是容器类组件，可以嵌入其它组件，内部配置如何运行应用程序。

内嵌类

可以内嵌到其他组件内，valve、logger、realm、loader、manager等。以logger举例，在不同容器组件内分别定义。

集群类

listener、cluster

2）Tomcat 内部组成

名称
 说明
Server 服务器，Tomcat 运行的进程实例，一个Server中可以有多个service，但通常就一个
Service 服务，用来组织Engine和Connector的对应关系，一个service中只有一个Engine
Connector 连接器，负责客户端的HTTP、HTTPS、AJP等协议连接。一个Connector只属于某一个Engine
Engine 即引擎，用来响应并处理用户请求。一个Engine上可以绑定多个Connector
Host 即虚拟主机,可以实现多虚拟主机,例如使用不同的主机头区分
Context 应用的上下文，配置特定url路径映射和目录的映射关系：url => directory

每一个组件都由一个Java“类”实现，这些组件大体可分为以下几个类型：

顶级组件：Server

服务类组件：Service

连接器组件：http, https, ajp（apache jserv protocol）

容器类：Engine, Host, Context

被嵌套类：valve, logger, realm, loader, manager, ...

集群类组件：listener, cluster, ...

3）核心组件

  • Tomcat启动一个Server进程。可以启动多个Server，即tomcat的多实例, 但一般只启动一个

  • 创建一个Service提供服务。可以创建多个Service，但一般也只创建一个

    每个Service中，是Engine和其连接器Connector的关联配置

  • 可以为这个Service提供多个连接器Connector，这些Connector使用了不同的协议，绑定了不同的端口。其作用就是处理来自客户端的不同的连接请求或响应

  • Service 内部还定义了Engine，引擎才是真正的处理请求的入口，其内部定义多个虚拟主机Host

    Engine对请求头做了分析，将请求发送给相应的虚拟主机

    如果没有匹配，数据就发往Engine上的defaultHost缺省虚拟主机

    Engine上的缺省虚拟主机可以修改

  • Host 定义虚拟主机，虚拟主机有name名称，通过名称匹配

  • Context 定义应用程序单独的路径映射和配置

4. Tomcat根目录结构

Tomcat中默认网站根目录是$CATALINA_BASE/webapps/，在Tomcat中部署主站应用程序和其他应用程序，和之前WEB服务程序不同。

在Tomcat的webapps目录中，有个非常特殊的目录ROOT，它就是网站默认根目录。

将eshop解压后的文件放到这个$CATALINA_BASE/webapps/ROOT中。
bbs解压后文件都放在$CATALINA_BASE/webapps/forum目录下。
$CATALINA_BASE/webapps下面的每个目录都对应一个Web应用,即WebApp

最终网站链接有以下对应关系

http://localhost/ 对应于eshop的应用WebApp，即$CATALINA_BASE/webapps/ROOT/目录
http://localhost/forum/ 对应于forum的应用WebApp，即$CATALINA_BASE/webapps/forum/

如果同时存在$CATALINA_BASE /webapps/ROOT/forum ，仍以$CATALINA_BASE/webapps/forum/ 优先生效；

每一个虚拟主机都可以使用appBase指令配置自己的站点目录，使用appBase目录下的ROOT目录作为主站目录。

六、tomcat实现多虚拟主机

centos7安装tomcat

yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
systemctl enable --now tomcat

修改server.xml配置文件

[root@shichu tomcat]# cat /usr/share/tomcat/conf/server.xml 
......
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log." suffix=".txt"
               pattern="%h %l %u %t &quot;%r&quot; %s %b" />
 
      </Host>
      <Host name="node1.shichu.org" appBase="/data/webapps1" />		#添加node1、node2两行信息
      <Host name="node2.shichu.org" appBase="/data/webapps2" />
    </Engine>
  </Service>
</Server>

为node1、node2虚拟主机准备数据

创建目录

#创建目录
mkdir -pv /data/webapps{1,2}/ROOT

准备node1页面

[root@shichu tomcat]# cat /data/webapps1/ROOT/index.jsp
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html>
<html>
<head>
   <meta charset="utf-8">
   <title>node1</title>
</head>
<body>
node1
<br>
<%=request.getRequestURL()%>
</body>
</html>

准备node2页面

[root@shichu tomcat]# cat /data/webapps2/ROOT/index.jsp
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html>
<html>
<head>
   <meta charset="utf-8">
   <title>node2</title>
</head>
<body>
node2
<br>
<%=request.getRequestURL()%>
</body>
</html>

设置权限

chown -R tomcat:tomcat /data/webapps{1,2}/

重启tomcat

systemctl restart tomcat

验证

多虚拟主机配置说明

name 必须是主机名，用主机名来匹配
appBase 当前主机的网页根目录，是相对于 $CATALINA_HOME ，也可以使用绝对路径
unpackWARs 是否自动解压war格式
autoDeploy 热部署，自动加载并运行应用

七、nginx实现后端tomcat的负载均衡调度

架构

client
proxy.com
Nginx
10.0.0.100
tomcat1.com
Tomcat
10.0.0.17
tomcat2.com
Tomcat
10.0.0.27

配置

  1. proxy（10.0.0.100）

    • 安装nginx

      yum install -y nginx

    • 修改hosts

      		[root@proxy ~]# cat /etc/hosts
      		#添加如下3行
      		10.0.0.100  proxy.com
      		10.0.0.17   tomcat1.com
      		10.0.0.27   tomcat2.com

    • 修改/etc/nginx/nginx.conf

      		 
      		http {
      		#http块中添加upstream
      		#修改server块内容
      		...
      		    upstream tomcat-server {
      			#ip_hash;
      			#hash $cookie_JSESSIONID;
      		        server tomcat1.com:8080;
      		        server tomcat2.com:8080;
      		    }
      		    server {
      		    ...
      		        location ~* \.(jsp|do)$ {
      		            proxy_pass http://tomcat-server;
      		        }
      		    ...
      		    }
      		...
      		}

    • 重启nginx

      nginx -s reload

  2. tomcat1（10.0.0.17）

    • 安装tomcat

      		yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
      		systemctl enable --now tomcat

    • 修改server.xml

      		[root@t1 tomcat]# cat /usr/share/tomcat/conf/server.xml      
      		...
      		#defaultHost修改为tomcat1.com
      		    <Engine name="Catalina" defaultHost="tomcat1.com"> 
      		...
      		      </Host>
      		#添加如下一行
      		      <Host name="tomcat1.com" appBase="/data/webapps" autoDeploy="true" />
      		    </Engine>
      		  </Service>
      		</Server>

    • 准备tomcat1.com页面

      		[root@t1 tomcat]# cat /data/webapps/ROOT/index.jsp 
      		<%@ page import="java.util.*" %>
      		<!DOCTYPE html>
      		<html lang="en">
      		<head>
      		    <meta charset="UTF-8">
      		    <title>tomcat test</title>
      		</head>
      		<body>
      		<div>On <%=request.getServerName() %></div>
      		<div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div>
      		<div>SessionID = <span style="color:blue"><%=session.getId() %></span></div>
      		<%=new Date()%>
      		</body>
      		</html>

    • 重启tomat

      systemctl restart tomcat

  3. tomcat2（10.0.0.27）

    • 安装tomcat

      		yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
      		systemctl enable --now tomcat

    • 修改server.xml

      		[root@t1 tomcat]# cat /usr/share/tomcat/conf/server.xml    
      		...
      		#defaultHost修改为tomcat2.com
      		    <Engine name="Catalina" defaultHost="tomcat2.com"> 
      		...
      		      </Host>
      		#添加如下一行
      		      <Host name="tomcat1.com" appBase="/data/webapps" autoDeploy="true" />
      		    </Engine>
      		  </Service>
      		</Server>

    • 准备tomcat2.com页面

      		[root@t1 tomcat]# cat /data/webapps/ROOT/index.jsp 
      		<%@ page import="java.util.*" %>
      		<!DOCTYPE html>
      		<html lang="en">
      		<head>
      		    <meta charset="UTF-8">
      		    <title>tomcat test</title>
      		</head>
      		<body>
      		<div>On <%=request.getServerName() %></div>
      		<div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div>
      		<div>SessionID = <span style="color:blue"><%=session.getId() %></span></div>
      		<%=new Date()%>
      		</body>
      		</html>

    • 重启tomat

      systemctl restart tomcat

验证

八、简述memcached的工作原理

Memcached 官网：http://memcached.org/

1. 说明

MemCache是一个高性能的分布式的内存对象缓存系统，用于各种动态应用以减轻数据库负担。它通过在内存中缓存数据和对象，来减少读取数据库的次数，从而提高动态、数据库驱动应用速度。MemCache会在内存中开辟一块空间，建立一个统一的巨大的hash表，hash表能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。

  • Memcached 只支持能序列化的数据类型，不支持持久化，基于Key-Value的内存缓存系统
  • memcached 虽然没有像redis所具备的数据持久化功能，比如RDB和AOF都没有，但是可以通过做集群同步的方式，让各memcached服务器的数据进行同步，从而实现数据的一致性，即保证各memcached的数据是一样的，即使有任何一台 memcached 发生故障，只要集群中有一台 memcached 可用就不会出现数据丢失，当其他memcached 重新加入到集群的时候,可以自动从有数据的memcached 当中自动获取数据并提供服务。
  • Memcached 借助了操作系统的 libevent 工具做高效的读写。libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加，也能发挥高性能。memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。
  • Memcached 支持最大的内存存储对象为1M，超过1M的数据可以使用客户端压缩或拆分报包放到多个key中，比较大的数据在进行读取的时候需要消耗的时间比较长，memcached 最适合保存用户的session实现session共享。
  • Memcached存储数据时, Memcached会去申请1MB的内存, 把该块内存称为一个slab, 也称为一个page
  • Memcached 支持多种开发语言，包括：JAVA,C,Python,PHP,C#,Ruby,Perl等

2. 工作原理

MemCached采用了C/S架构，在Server端启动后，以守护程序的方式，监听客户端的请求。启动时可以指定监听的IP（服务器的内网ip/外网ip）、端口号（所以做分布式测试时，一台服务器上可以启动多个不同端口号的MemCached进程）、使用的内存大小等关键参数。一旦启动，服务就会一直处于可用状态。
为了提高性能，MemCached缓存的数据全部存储在MemCached管理的内存中，所以重启服务器之后缓存数据会清空，不支持持久化。

3. 工作机制

1） 内存分配机制

应用程序运行需要使用内存存储数据，但对于一个缓存系统来说，申请内存、释放内存将十分频繁，非常容易导致大量内存碎片，最后导致无连续可用内存可用。

Memcached采用了Slab Allocator机制来分配、管理内存。

  • Page：分配给Slab的内存空间，默认为1MB，分配后就得到一个Slab。Slab分配之后内存按照固定字节大小等分成chunk。

  • Chunk：用于缓存记录k/v值的内存空间。Memcached会根据数据大小选择存到哪一个chunk中，假设chunk有128bytes、64bytes等多种，数据只有100bytes存储在128bytes中，存在少许浪费。

    Chunk最大就是Page的大小，即一个Page中就一个Chunk

  • Slab Class：Slab按照Chunk的大小分组，就组成不同的Slab Class, 第一个Chunk大小为 96B的Slab为Class1,Chunk 120B为Class 2,如果有100bytes要存，那么Memcached会选择下图中SlabClass 2 存储，因为它是120bytes的Chunk。Slab之间的差异可以使用Growth Factor 控制，默认1.25。

2）懒过期 Lazy Expiration

memcached不会监视数据是否过期，而是在取数据时才看是否过期，如果过期,把数据有效期限标识为0，并不清除该数据。以后可以覆盖该位置存储其它数据。

3）LRU

当内存不足时，memcached会使用LRU（Least Recently Used）机制来查找可用空间，分配给新记录使用。

4）集群

Memcached集群，称为基于客户端的分布式集群，即由客户端实现集群功能，即Memcached本身不支持集群。

Memcached集群内部并不互相通信，一切都需要客户端连接到Memcached服务器后自行组织这些节点，并决定数据存储的节点。

九、总结tomcat优化方法

1. 内存空间优化

JAVA_OPTS="-server -Xms4g -Xmx4g -XX:NewSize= -XX:MaxNewSize= "
 
-server：服务器模式
-Xms：堆内存初始化大小
-Xmx：堆内存空间上限
-XX:NewSize=：新生代空间初始化大小
-XX:MaxNewSize=：新生代空间最大值

示例

[root@centos7 ~]#vim /usr/local/tomcat/bin/catalina.sh
JAVA_OPTS="-server -Xms4g -Xmx4g -Xss512k -Xmn1g -
 
XX:CMSInitiatingOccupancyFraction=65 -XX:+AggressiveOpts -XX:+UseBiasedLocking -
XX:+DisableExplicitGC -XX:MaxTenuringThreshold=10 -XX:NewRatio=2 -
XX:PermSize=128m -XX:MaxPermSize=512m -XX:CMSFullGCsBeforeCompaction=5 -
XX:+ExplicitGCInvokesConcurrent -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -
XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -
XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods"
 
#一台tomcat服务器并发连接数不高,生产建议分配物理内存通常4G到8G较多,如果需要更多连接,一般会利用虚拟化技术实现多台tomcat

2. 线程池调整

[root@centos7 ~]#vim /usr/local/tomcat/conf/server.xml
......
<Connector port="8080" protocol="HTTP/1.1"  connectionTimeout="20000"
redirectPort="8443" />
......

常用属性：

  • connectionTimeout ：连接超时时长,单位ms

  • maxThreads：最大线程数，默认200

  • minSpareThreads：最小空闲线程数

  • maxSpareThreads：最大空闲线程数

  • acceptCount：当启动线程满了之后，等待队列的最大长度，默认100

  • URIEncoding：URI 地址编码格式，建议使用 UTF-8

  • enableLookups：是否启用客户端主机名的DNS反向解析，缺省禁用，建议禁用，就使用客户端IP

    就行

  • compression：是否启用传输压缩机制，建议 "on"，CPU和流量的平衡

    • compressionMinSize：启用压缩传输的数据流最小值，单位是字节
    • compressableMimeType：定义启用压缩功能的MIME类型text/html, text/xml, text/css,text/javascript

3. Java压力测试工具

PerfMa 致力于打造一站式IT系统稳定性保障解决方案，专注于性能评测与调优、故障根因定位与解决，为企业提供一系列技术产品与专家服务，提升系统研发与运行质量。

官网：https://www.perfma.com/

社区地址：https://heapdump.cn/

十、java程序出现oom如何解决？什么场景下会出现oom？

JProfiler官网：http://www.ej-technologies.com/products/jprofiler/overview.html

JProfiler是一款功能强大的Java开发分析工具，它可以快速的帮助用户分析出存在的错误，软件还可对需要的显示类进行标记，包括了内存的分配情况和信息的视图等。

1. 堆内存不足

报错信息

java.lang.OutOfMemoryError: Java heap space

原因

  • 1、代码中可能存在大对象分配
  • 2、可能存在内存泄露，导致在多次GC之后，还是无法找到一块足够大的内存容纳当前对象。

解决方法

  • 1、检查是否存在大对象的分配，最有可能的是大数组分配
  • 2、通过jmap命令，把堆内存dump下来，使用mat工具分析一下，检查是否存在内存泄露的问题
  • 3、如果没有找到明显的内存泄露，使用 -Xmx 加大堆内存
  • 4、还有一点容易被忽略，检查是否有大量的自定义的 Finalizable 对象，也有可能是框架内部提供的，考虑其存在的必要性

2. 永久代/元空间溢出

报错信息

java.lang.OutOfMemoryError: PermGen space
java.lang.OutOfMemoryError: Metaspace

原因

永久代是 HotSot 虚拟机对方法区的具体实现，存放了被虚拟机加载的类信息、常量、静态变量、JIT编译后的代码等。

JDK8后，元空间替换了永久代，元空间使用的是本地内存，还有其它细节变化：

  • 1、字符串常量由永久代转移到堆中
  • 2、和永久代相关的JVM参数已移除

出现永久代或元空间的溢出的原因可能有如下几种：

  • 1、在Java7之前，频繁的错误使用String.intern方法
  • 2、生成了大量的代理类，导致方法区被撑爆，无法卸载
  • 3、应用长时间运行，没有重启

解决方法

永久代/元空间 溢出的原因比较简单，解决方法有如下几种：

  • 1、检查是否永久代空间或者元空间设置的过小
  • 2、检查代码中是否存在大量的反射操作
  • 3、dump之后通过mat检查是否存在大量由于反射生成的代理类
  • 4、放大招，重启JVM

3. GC overhead limit exceeded

报错信息

java.lang.OutOfMemoryError：GC overhead limit exceeded

原因
这个是JDK6新加的错误类型，一般都是堆太小导致的。
Sun 官方对此的定义：超过98%的时间用来做GC并且回收了不到2%的堆内存时会抛出此异常。

解决方法

  • 1、检查项目中是否有大量的死循环或有使用大内存的代码，优化代码。
  • 2、添加参数-XX:-UseGCOverheadLimit 禁用这个检查，其实这个参数解决不了内存问题，只是把错误的信息延后，最终出现 java.lang.OutOfMemoryError: Java heap space。
  • 3、dump内存，检查是否存在内存泄露，如果没有，加大内存。

4. 方法栈溢出

报错信息

java.lang.OutOfMemoryError : unable to create new native Thread

原因
出现这种异常，基本上都是创建的了大量的线程导致的。

解决方法

  • 1、通过 *-Xss *降低的每个线程栈大小的容量

  • 2、线程总数也受到系统空闲内存和操作系统的限制，检查是否该系统下有此限制：

    /proc/sys/kernel/pid_max
    /proc/sys/kernel/thread-max
    max_user_process（ulimit -u）
    /proc/sys/vm/max_map_count

5. 非常规溢出

1）分配超大数组

报错信息

java.lang.OutOfMemoryError: Requested array size exceeds VM limit

原因
这种情况一般是由于不合理的数组分配请求导致的，在为数组分配内存之前，JVM 会执行一项检查。要分配的数组在该平台是否可以寻址(addressable)，如果不能寻址(addressable)就会抛出这个错误。

解决方法

检查你的代码中是否有创建超大数组的地方。

2）swap区溢出

报错信息

java.lang.OutOfMemoryError: Out of swap space

原因
这种情况一般是操作系统导致的，可能的原因有：

  • 1、swap 分区大小分配不足；
  • 2、其他进程消耗了所有的内存。

解决方法

  • 1、其它服务进程可以选择性的拆分出去
  • 2、加大swap分区大小，或者加大机器内存大小
posted @   areke  阅读(350)  评论(0)  编辑  收藏  举报
相关博文：
· HAproxy、Keepalived
· kubernetes（四）
· linux_10
· Tomcat
· tomcat安装及优化
阅读排行：
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布：重大改进与新特性概览！
· AI与.NET技术实操系列（二）：开始使用ML.NET
· 单线程的Redis速度为什么快？
点击右上角即可分享
微信分享提示
AI FOR CODE 大赛