linux运维、架构之路-Nginx反向代理
一、 Nginx负载均衡和反向代理知识
1、集群概念
一堆服务器合作做同一件事，这些机器可能需要整个技术团队架构、设计和统一协调管理，这些机器可以分布在一个机房，也可以分布在全国各个地区的多个机房。
2、集群作用
①提高网站处理用户请求能力
②提高网站稳定运行高可用性
3、集群分类
①高可用集群HA
②负载均衡集群LB
1）硬件实现负载
F5硬件设备
A10硬件设备
2）软件实现负载
Nginx（7层，1.9版本之后也支持4层负载）
LVS（4层）
Haproxy（4、7层）
说明： 所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡
4、负载均衡与反向代理对比
|
负载均衡 |
反向代理 |
|
对用户的访问请求进行调试管理 |
接收用户请求代替用户向后端访问 |
|
对用户的访问请求进行压力分担 |
|
5、反向代理与数据转发区别
二、反向代理部署
1、快速部署
useradd -s /sbin/nologin -M www mkdir -p /server/tools/ cd /server/tools/ wget http://nginx.org/download/nginx-1.10.3.tar.gz tar xf nginx-1.10.3.tar.gz yum install pcre-devel openssl-devel -y cd /server/tools/nginx-1.10.3 ./configure --prefix=/application/nginx-1.10.3 --user=www --group=www --with-http_stub_status_module --with-http_ssl_module make && make install ln -s /application/nginx-1.10.3/ /application/nginx ln -s /application/nginx/sbin/nginx /usr/local/sbin/ nginx lsof -i:80
2、 统一编写nginx配置(web01,web02)
worker_processes 3; error_log logs/error.log error; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log logs/access.log main; include extra/www.conf; include extra/blog.conf; include extra/bbs.conf; include extra/status.conf; }
3、统一两台web服务器测试环境
①web01
[root@web01 html]# cat {www,bbs}/index.html
10.0.0.8 www
10.0.0.8 bbs
②web02
[root@web02 html]# cat {www,bbs}/index.html
10.0.0.7 www
10.0.0.7 bbs
4、编辑nginx.conf配置文件实现负载功能（lb01）
worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; upstream server_pools { server 10.0.0.7:80; server 10.0.0.8:80; } server { listen 80; server_name bbs.etiantian.org; location / { proxy_pass http://server_pools; proxy_set_header host $host; } } server { listen 80; server_name www.etiantian.org; location / { proxy_pass http://server_pools; proxy_set_header host $host; } } }
注：主要应用到nginx的ngx_http_upstream_module，官方例子
upstream backend { server backend1.example.com weight=5; server backend2.example.com:8080; server unix:/tmp/backend3; server backup1.example.com:8080 backup; server backup2.example.com:8080 backup; } server { location / { proxy_pass http://backend; } }
5、浏览器测试或linux下进行web服务
[root@lb01 conf]# curl www.etiantian.org 10.0.0.7 www [root@lb01 conf]# curl www.etiantian.org 10.0.0.8 www [root@lb01 conf]# curl bbs.etiantian.org 10.0.0.7 bbs [root@lb01 conf]# curl bbs.etiantian.org 10.0.0.8 bbs 注：浏览器测试之前，重启nginx服务程序（lb01 web01 web02）
6、upstream参数说明
|
upstream模块内参数 |
参数说明 |
|
server 10.0.0.8:80 |
负载均衡后面的RS配置，可以是IP或域名，默认80端口，高并发场景下，IP可换成域名，通过DNS做负载均衡 |
|
weigth=1 |
代表服务器的权重，默认值是1，权重数字越大表示接受的请求比例越大 |
|
max_fails=5 |
尝试连接后端主机失败的次数，这个值是配合proxy_net_upstream、fastcgi_next_upstream和memached_net_upstream这三个参数使用，当nginx接收后端服务器返回这三个参数定义的状态码时，会将这个请求转发给正常工作的后端服务器，例如404、502、503、Max_fails的默认值是1;企业场景下建议2-3次 |
|
fail_timeout=10s |
在max_fails定义的失败次数后，距离下次检查的间隔时间，默认是10s,如果max_fails是5，就检测5次，如果5次都是502，那么会根据fail_timeout的值，等待10s再去检查，还是只检查一次，如果持续502，在不重新加载nginx配置的情况下，每隔10s都只检查一次，常规业务2~3秒比较合理 |
|
backup |
热备配置（RS节点高可用），当前面RS都失败后会自动启用热备RS，这标志着这个服务器作为备份服务器，若主服务器全部宕机了，就会向它转发请求，注意：当负载调度算法为ip_hash时，后端服务器在负载均衡调度中的状态不能是weight和backup |
|
down |
这标志着服务器永远不可用，这个参数可配合ip_hash使用，类似注释效果 |
7、调度算法
|
rr |
定义轮询调度算法，默认调度算法 |
|
wrr |
定义权重调度算法 |
|
ip_hash |
定义静态调度算法 |
|
least_conn |
定义最小的连接数 |
三、Nginx反向代理
1、记录用户访问真实IP地址
cat nging.conf worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; upstream server_pools { server 10.0.0.7:80; server 10.0.0.8:80; } server { listen 80; server_name bbs.etiantian.org; location / { proxy_pass http://server_pools; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $remote_addr;#此模块记录用户访问真实地址 } } server { listen 80; server_name www.etiantian.org; location / { proxy_pass http://server_pools; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $remote_addr; } } }
2、Nginx反向代理参数
|
Nginx反向代理重要参数 |
参数说明 |
|
proxy_pass http://server_pools; |
通过proxy_pass功能把用户的请求转向反向代理定义的upstream服务器池 |
|
proxy_set_header Host $host |
在代理向后端服务器发送的http请求头中加入host字段信息，用于当后端服务器配置有多个虚拟主机时，可以识别代理的是哪个虚拟主机，这是节点服务器多虚拟主时的关键配置。 |
|
proxy_set_header X-Forwarded-For $remote_addr; |
在代理向后端服务器发送的http请求头中加入X-Forward-For字段信息，用于后端服务器程序、日志等接收记录真实用户的ip，而不是代理服务器的IP，这是反向代理时，节点服务器获取用户真实IP的必要功能配置 |
四、企业案例：动静分离
1、配置多个upstream实现uri转发
|
/upload |
10.0.0.8:80 |
html/www/upload |
upload服务器 |
|
/static |
10.0.0.7:80 |
html/www/static |
static静态服务器 |
|
/ |
10.0.0.9:80 |
html/www |
默认 |
2、调用多个upstream
worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; upstream upload_pools { server 10.0.0.8:80; } upstream static_pools { server 10.0.0.7:80; } upstream default_pools { server 10.0.0.9:80; }
server { listen 80; server_name www.etiantian.org; location /static/ { proxy_pass http://static_pools; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $remote_addr; } location /upload/ { proxy_pass http://upload_pools; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $remote_addr; } location / { proxy_pass http://default_pools; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $remote_addr; } access_log logs/access_www.log main; } }
3、模拟环境
①web01
mkdir -p /application/nginx/html/www/upload echo "web01 upload" >/application/nginx/html/www/upload/nana.html
②web02
mkdir -p /application/nginx/html/www/static echo "web02 static" >/application/nginx/html/www/static/nana.html
③web02
mkdir /application/nginx/html/www -p echo "web03 default" >/application/nginx/html/www/nana.html
④测试
curl -H host:www.etiantian.org 10.0.0.9/upload/nana.html curl -H host:www.etiantian.org 10.0.0.8/upload/nana.html curl -H host:www.etiantian.org 10.0.0.7/static/nana.html
4、Wireshark抓包分析
①web01
②web02
③web03
5、根据用户不同的浏览器，客户端进行转发
不同的客户端 访问不同的网站，手机和电脑 访问相同的网站----结果不同
> GET / HTTP/1.1
> User-Agent: curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.21 Basic ECC zlib/1.2.3 libidn/1.18 libssh2/1.4.2
> Host: www.baidu.com
> Accept: */*
User-Agent-------的内容-----nginx有一个变量$http_user_agent
负载均衡配置nginx.conf
worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; upstream upload_pools { server 10.0.0.8:80; } upstream static_pools { server 10.0.0.7:80; } upstream default_pools { server 10.0.0.9:80; } server { listen 80; server_name www.etiantian.org; location / { if ($http_user_agent ~* "MSIE") { proxy_pass http://static_pools; } if ($http_user_agent ~* "Chrome") { proxy_pass http://upload_pools; } proxy_pass http://default_pools; } access_log logs/access_www.log main; } }
linux中测试
[root@lb01 ~]# curl -A "iphone" www.etiantian.org/nana.html www web01 [root@lb01 ~]# curl -A "android" www.etiantian.org/nana.html www web02 [root@lb01 ~]# curl -A "asdasdasd" www.etiantian.org/nana.html web03 default
