Nginx作为webserver的搭建和优化配置手册
Nginx作为webserver的搭建和优化配置手册
安装步骤
- 1、安装pcre
将pcre-8.32.rar解压，上传到服务器/usr/local目录下，执行：
cd /usr/local/pcre-8.32
chmod +x configure
./configure
make
make install
- 2、安装Nginx
安装nginx，将nginx-1.10.1.tar.gz上传到服务器的到/usr/local目录下，进行解压：
cd /usr/local
tar -zxvf nginx-1.10.1.tar.gz
cd nginx-1.10.1
./configure --prefix=/usr/local/nginx --with-pcre=/usr/local/pcre-8.32/
make
make install
Nginx配置
nginx配置，配置文件路径：/usr/local/nginx/conf/nginx.conf
下面这个完整的nginx.conf，概括了常见的几种nginx服务，包括图片等静态资源缓存、反向代理（负载均衡）、本地代理、正向代理等，可根据需要选用。
worker_processes auto; #根据服务器cpu调整子进程数
error_log logs/error.log crit;
pid logs/nginx.pid;
events {
worker_connections 65535;
use epoll;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
proxy_cache_path /tmp/nginx_cache/image levels=1:2 keys_zone=image-cache:1024m max_size=10g inactive=1d;
proxy_temp_path /tmp/nginx_cache/tmp; #设置缓存图片的路径，有效时间1天硬盘缓存空间10G内存缓存空间1G
proxy_pass_header Server;
proxy_set_header Host $http_host;
proxy_redirect off;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Scheme $scheme;
client_max_body_size 3000m; #设置默认上传文件大小
#反向代理
upstream portal_service_pool {
ip_hash;#默认为轮询，可修改为iphash
server 192.168.105.64:8080;
server 192.168.105.65:8080;
server 192.168.105.30:8080 down;
keepalive 8192;
}
server {
listen 9090;
charset utf-8;
location / {
proxy_pass http://portal_service_pool;
}
}
#图片服务代理
server {
listen 8082;
charset utf-8;
location / {
proxy_cache image-cache; #缓存路径名称
proxy_cache_key $scheme$proxy_host$uri$is_args$args; #保存的键值格式
proxy_cache_valid 200 304 1d; #过期时间，这个是不管有没有访问，都1天过期
proxy_pass http://192.168.105.77:8082;
}
}
#代理本地服务端口,提供文件下载
server {
listen 8765;
charset utf-8;
location / {
root /home/jsserver/;
}
}
#正向代理,提供内网服务器联网
server {
listen 8000;
server_name proxy;
resolver 114.114.114.114;
location / {
proxy_pass $scheme://$http_host$request_uri;
proxy_set_header Host $http_host;
proxy_buffers 256 4k;
proxy_max_temp_file_size 0;
}
}
}
Nginx运行调优
- 1、服务器ulimit优化
通过ulimit -n命令可以查看linux系统里打开文件描述符的最大值，一般缺省值是1024，对一台繁忙的服务器来说，这个值偏小，所以有必要重新设置linux系统里打开文件描述符的最大值。
这个值可用ulimit 命令来修改，如：
ulimit -n 65535
但ulimit命令修改的数值只对当前登录用户的目前使用环境有效，系统重启或者用户退出后就会失效。
vim /etc/security/limits.conf
文件末尾追加
* soft nofile 65535
* hard nofile 65535
重新登录shell，通过ulimit -n 或者 ulimit -a 查看是否生效
- 2、内核参数优化
Nginx提供高并发的代理服务时，一般都需要进行系统内核网络参数优化。
将/etc/sysctl.conf文件清空，把以下内容复制进去；
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1 //这四行标红内容，一般是发现大量TIME_WAIT时的解决办法
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 4096 87380 4194304
net.ipv4.tcp_wmem = 4096 16384 4194304
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 1 //在net.ipv4.tcp_tw_recycle设置为1的时候，这个选择最好加上
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1 //开启此功能可以减少TIME-WAIT状态，但是NAT网络模式下打开有可能会导致tcp连接错误，慎重。
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 30
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.ip_conntrack_max = 6553500
然后执行systcl –p刷新设置。
记一次小事故：
net.ipv4.tcp_tw_recycle = 1
这个功能打开后，确实能减少TIME-WAIT状态，习惯上我都会将这个参数打开。
但是也因为这个参数踩过一次坑：
公司的一个发布新闻的CMS后台系统，采用haproxy+keepalived代理架构，后端的real server服务器外网ip全部拿掉。
现象：在某一天早上发文高峰期，CMS后台出现访问故障，重启php服务后会立刻见效，但持续一段时间后，访问就又出现故障。
排查nginx和php日志也没有发现什么，后来google了一下，发现就是net.ipv4.tcp_tw_recycle这个参数捣的鬼！
这种网络架构对于后端的realserver来说是NAT模式，打开这个参数后，会导致大量的TCP连接建立错误，从而引起网站访问故障。
最后将net.ipv4.tcp_tw_recycle设置为0，关闭这个功能后，后台访问即刻恢复正常
Nginx启动
启动nginx，执行以下指令可以启动nginx，
cd /usr/local/nginx/sbin
./nginx
并且nginx支持热部署，即可以再不停止nginx服务的情况下修改nginx的配置，执行以下命令重新加载配置
cd /usr/local/nginx/sbin
/nginx–s reload
如果想要停止nginx，则执行
killall nginx
并杀死该进程即可
异常处理
在做Nginx高压力测试时，偶尔某台WEB的logs抛出Too Many Open Files，一般从以下3方面调优：
第一：nginx.conf参数规划与设置
worker_rlimit_nofile ：限制单个工作进程打开的最大文件数： 首先查看这个值设置，推荐设置：越大越好
第二：系统级别的检查与设置
就是 /etc/security/limits.conf的配置与修改，请参考Linux系统资源限制汇总
第三：内核级别的检查与设置：
fs.file-max值的大小设置： 注意：file-max的默认值大概是系统内存的10%（系统内存以kb计算），别设置的比系统默认的还小.
在合理规划以上3个层次的设置后，必须做验证：
1.验证nginx程序的限制
ps -ef |grep nginx
将得出的PID XXX带入下面
cat /proc/XXX/limits
查看Max open files 那一行
2.验证系统级别的限制
ulimit -n
3.验证内核级别的限制
cat /proc/sys/fs/file-max
Nginx负载均衡介绍
nginx的 upstream目前支持 4 种方式的分配
1)、轮询（默认） 每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。
2)、weight
指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。
2)、ip_hash
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。
3)、fair（第三方）
按后端服务器的响应时间来分配请求，响应时间短的优先分配。
4)、url_hash（第三方）
nginx负载均衡设置
在http节点里添加:
#定义负载均衡设备的Ip及设备状态
upstream myServer {
server 127.0.0.1:9090 down;
server 127.0.0.1:8080 weight=2;
server 127.0.0.1:6060;
server 127.0.0.1:7070 backup;
}
在需要使用负载的Server节点下添加
proxy_passhttp://myServer;
upstream 每个设备的状态:
down 表示单前的server暂时不参与负载
weight 默认为1.weight越大，负载的权重就越大。
max_fails：允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream模块定义的错误
fail_timeout:max_fails次失败后，暂停的时间。
backup：其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。
配置案例如下：
设定http服务器，利用它的反向代理功能提供负载均衡支持
http {
#设定mime类型,类型由mime.type文件定义
include /etc/nginx/mime.types;
default_type application/octet-stream;
#设定日志格式
access_log /var/log/nginx/access.log;
#省略上文有的一些配置节点
#设定负载均衡的服务器列表
upstream mysvr {
#weigth参数表示权值，权值越高被分配到的几率越大
server 192.168.8.1x:3128 weight=5;#本机上的Squid开启3128端口
server 192.168.8.2x:80 weight=1;
server 192.168.8.3x:80 weight=6;
}
upstream mysvr2 {
#weigth参数表示权值，权值越高被分配到的几率越大
server 192.168.8.x:80 weight=1;
server 192.168.8.x:80 weight=6;
}
#第一个虚拟服务器
server {
#侦听192.168.8.x的80端口
listen 80;
server_name 192.168.8.x;
#对aspx后缀的进行负载均衡请求
location ~ .*\.aspx$ {
root /root; #定义服务器的默认网站根目录位置
index index.php index.html index.htm; #定义首页索引文件的名称
proxy_pass http://mysvr ;#请求转向mysvr定义的服务器列表
#以下是一些反向代理的配置可删除.
proxy_redirect off;
#后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m; #允许客户端请求的最大单文件字节数
client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数，
proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时)
proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时)
proxy_read_timeout 90; #连接成功后，后端服务器响应时间(代理接收超时)
proxy_buffer_size 4k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小
proxy_buffers 4 32k; #proxy_buffers缓冲区，网页平均在32k以下的话，这样设置
proxy_busy_buffers_size 64k; #高负荷下缓冲大小（proxy_buffers*2）
proxy_temp_file_write_size 64k; #设定缓存文件夹大小，大于这个值，将从upstream服务器传
}
}
}