十四、nginx的负载均衡
一、负载均衡目的
将前端超高并发访问转发至后端多台服务器进行处理,解决单个节点压力过大,造成Web服务响应过 慢,严重的情况下导致服务瘫痪,无法正常提供服务的问题。
二、工作原理
负载均衡分为四层负载均衡和七层负载均衡。
四层负载均衡是工作在七层协议的第四层-传输层,主要工作是转发。
它在接收到客户端的流量以后通过修改数据包的地址信息(目标地址和端口和源地址)将流量转发到应 用服务器。
七层负载均衡是工作在七层协议的第七层-应用层,主要工作是代理。
它首先会与客户端建立一条完整的连接并将应用层的请求流量解析出来,再按照调度算法选择一个应用服务器,并与应用服务器建立另外一条连接将请求发送过去。
三、负载均衡的配置
前端服务器:192.168.1.6 后端服务器1:192.168.1.5 后端服务器2:192.168.1.7 这里后端服务器也可以通过配置虚拟主机实现。
upstream 主要是配置均衡池和调度方法。
proxy_pass 主要是配置代理服务器ip或服务器组的名字。
proxy_set_header 主要是配置转发给后端服务器的Host和前端客户端真实ip。
# 在http指令块下配置upstream指令块 upstream web { server 192.168.1.5; server 192.168.1.7; } # 在location指令块配置proxy_pass server { listen 80; server_name localhost; location / { proxy_pass http://web; proxy_next_upstream error http_404 http_502; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }
error http_404 http_502; 通过这个指令,可以处理当后端服务返回404等报错时, 直接将请求转发给其他服务器,而不是把报错信息返回客户端。 # proxy_set_header Host $host; 通过这个指令,把客户端请求的host,转发给后端。 # proxy_set_header X-Real-IP $remote_addr 通过这个指令,把客户端的IP转发给后端服务器,在后端服务器的日志格式中, 添加$http_x_real_ip即可获取原始客户端的IP了。
配置后端nginx:
yum install nginx -y echo "this is 1.5 page" > /usr/share/nginx/html/index.html echo "this is 1.7 page" > /usr/share/nginx/html/index.html
均衡方式:
upstream web { server 192.168.1.5; server 192.168.1.7; }
访问前端IP:
[root@192 ~]# while true;do curl 192.168.1.6;sleep 2;done this is 1.5 page this is 1.7 page this is 1.5 page this is 1.7 page #可以看到后端服务器,非常平均的处理请求。
upstream web { server 192.168.1.5 weight=3; server 192.168.1.7 weight=1; }
访问前端IP:
[root@192 ~]# while true;do curl 192.168.1.6;sleep 1;done this is 1.5 page this is 1.5 page this is 1.5 page this is 1.7 page this is 1.5 page this is 1.5 page this is 1.5 page this is 1.7 page #后端服务,根据权重比例处理请求,适用于服务器性能不均的环境。
错误的连接由proxy_next_upstream, fastcgi_next_upstream等指令决定,且默认情况下,后端某台 服务器出现故障了,nginx会自动将请求再次转发给其他正常的服务器(因为默认proxy_next_upstream error timeout)。
所以即使我们没有配这个参数,nginx也可以帮我们处理error和timeout的相应,但是没法处理404等报 错。
为了看清楚本质,可以先将proxy_next_upstream设置为off,也就是不将失败的请求转发给其他正常
upstream web { server 192.168.1.5 weight=1 max_fails=3 fail_timeout=9s; #先将1.5这台nginx关了。 server 192.168.1.7 weight=1; } server { listen 80; server_name localhost; location / { proxy_pass http://web; #proxy_next_upstream error http_404 http_502; proxy_next_upstream off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } } # 在这里,我们将超时时间设置为9s,最多尝试3次, 这里要注意,尝试3次,依然遵循轮询的规则,并不是一个请求,连接3次, 而是轮询三次,有3次处理请求的机会。
访问前端IP:
[root@192 ~]# while true;do curl -I 192.168.1.6 2>/dev/null|grep HTTP/1.1 ;sleep3;done HTTP/1.1 502 Bad Gateway HTTP/1.1 200 OK HTTP/1.1 502 Bad Gateway HTTP/1.1 200 OK HTTP/1.1 502 Bad Gateway HTTP/1.1 200 OK HTTP/1.1 200 OK HTTP/1.1 200 OK HTTP/1.1 200 OK HTTP/1.1 502 Bad Gateway
# 我们设置的超时时间为9s,我们是每3s请求一次。 #我们可以看到后端一台服务器挂了后,请求没有直接转发给正常的服务器, #而是直接返回了502。尝试三次后,等待9s,才开始再次尝试(最后一个502)。 #要注意,第二行的200响应,并不是客户端第一次的请求的响应码,而是客户端第二次新的请求。
把proxy_next_upstream开启,再来访问看结果:
upstream web { server 192.168.1.5 weight=1 max_fails=3 fail_timeout=9s; #先将1.5这台nginx关了。 server 192.168.1.7 weight=1; } server { listen 80; server_name localhost; location / { proxy_pass http://web; proxy_next_upstream error http_404 http_502; #proxy_next_upstream off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }
访问前端IP:
[root@192 ~]# while true;do curl -I 192.168.1.6 2>/dev/null|grep HTTP/1.1 ;sleep 3;done HTTP/1.1 200 OK HTTP/1.1 200 OK HTTP/1.1 200 OK HTTP/1.1 200 OK HTTP/1.1 200 OK HTTP/1.1 200 OK #可以看到现在没有502报错,请求都处理了。因为错误的响应码被proxy_next_upstream 获取,这次请求被转发给下一个正常的服务器了。 #所以看到都是200,但是你应该清楚,哪个200是响应的上个服务器没有处理请求,哪个200是正常的响应。
upstream web { ip_hash; server 192.168.1.5 weight=1 max_fails=3 fail_timeout=9s; server 192.168.1.7 weight=1; } server { listen 80; server_name localhost; location / { proxy_pass http://web; proxy_next_upstream error http_404 http_502; #proxy_next_upstream off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }
访问前端IP:
[root@192 ~]# while true;do curl 192.168.1.6;sleep 2;done this is 1.5 page this is 1.5 page this is 1.5 page ^C [root@192 ~]# curl 192.168.1.7 this is 1.7 page #可以看到1.7的服务是正常的,但是却不转发给1.7了,请求固定在了1.5的服务器上。
在使用负载均衡的时候会遇到会话保持的问题,常用的方法有:
a、ip hash,根据客户端的IP,将请求分配到不同的服务器上;
b、cookie,服务器给客户端下发一个cookie,具有特定cookie的请求会分配给它的发布者。
upstream nginx_web { hash $request_uri consistent; server 192.168.75.128; server 192.168.75.135; }
# 下载模块: wget https://github.com/gnosek/nginx-upstream-fair/archive/master.zip # 解压: unzip master.zip # 修改源码bug: sed -i 's/default_port/no_port/g' ngx_http_upstream_fair_module.c # 预编译: ./configure --prefix=/usr/local/nginx --add-module=../echo-nginx-module --with-http_ stub_status_module --add-module=../nginx-upstream-fair-master # 编译/安装: make && make install # 配置: upstream web { fair; server 192.168.1.5 weight=1 max_fails=3 fail_timeout=9s; server 192.168.1.7 weight=1; }
upstream web { server 192.168.1.5 weight=1 max_fails=3 fail_timeout=9s; server 192.168.1.7 weight=1 backup; } # 1.7的服务器做备用服务器,只有在1.5得服务器不能提供服务时,才会自动顶上,否则,默认是不提供服务的
前端服务器:192.168.75.130 后端服务器1:192.168.75.128 后端服务器2:192.168.75.135
前端服务器主要配置stream和upstream,注意该模块需要在预编译时指定,没有被默认编译进 nginx。
配置前端服务器:
# 预编译: ./configure --prefix=/usr/local/nginx --add-module=../echo-nginx-module --withhttp_stub_status_module --with-stream # 编译/安装: make && make install # 在main全局配置stream: events { worker_connections 1024; } stream { upstream web { # 必须要指定ip加port server 192.168.75.128:80; server 192.168.75.135:80; } server { listen 80; # 连接上游服务器超时间,超过则选择另外一个服务器 proxy_connect_timeout 3s; # tcp连接闲置时间,超过则关闭 proxy_timeout 10s; proxy_pass web; } log_format proxy '$remote_addr $remote_port $protocol $status [$time_iso8601] ' '"$upstream_addr" "$upstream_bytes_sent" "$upstream_connect_time"' ; access_log /usr/local/nginx/logs/proxy.log proxy; }
配置后端测试页面:
echo "this is 128 page" > /usr/local/nginx/html/index.html echo "this is 135 page" > /usr/local/nginx/html/index.html
访问前端服务器:
# 在后端135上访问130: [root@node5 ~]# curl 192.168.75.130/index.html this is 128 page
查看后端128日志:
[root@node2 ~]# tailf /usr/local/nginx/logs/access.log 192.168.75.130 - - [17/Dec/2019:11:07:56 +0800] "GET /index.html HTTP/1.1" 200 17 "-" "curl/7.29.0" "-" # 查看前端130代理日志: [root@node3 nginx-1.16.0]# tailf /usr/local/nginx/logs/proxy.log 192.168.75.135 57704 TCP 200 [2019-12-17T11:07:56+08:00] "192.168.75.128:80" "88" "0.001"
端口转发:
# 前端130上配置如下: stream { upstream web { server 192.168.75.128:22; } server { listen 2222; proxy_connect_timeout 3s; proxy_timeout 10s; proxy_pass web; #proxy_set_header X-Real-IP $remote_addr; } log_format proxy '$remote_addr $remote_port $protocol $status [$time_iso8601] ' '"$upstream_addr" "$upstream_bytes_sent" "$upstream_connect_time"' ; access_log /usr/local/nginx/logs/proxy.log proxy; } # 在另外一台服务器ssh连接: [root@node5 ~]# ssh 192.168.75.130 -p 2222 root@192.168.75.130's password: Last login: Wed Dec 18 15:50:37 2019 from 192.168.75.130 [root@node2 ~]# [root@node2 ~]# # 可以看到,已经登录到了128服务器上。 [root@node2 ~]# ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:50:56:2a:4e:7f brd ff:ff:ff:ff:ff:ff inet 192.168.75.128/24 brd 192.168.75.255 scope global ens32 valid_lft forever preferred_lft forever inet6 fe80::52eb:5720:d625:841/64 scope link valid_lft forever preferred_lft forever