由于面试被问到nginx优化做过哪些
后来发现,其实做过的也不少,忘了的更不少,因此写个博客记录一下(里面有一些内容来源于其他作者)。
配置文件样例为生产环境样例。
1、nginx基本优化
安装方式有2种:
1、源码包安装
2、yum(apt-get)安装
区别为如果用yum安装的话,很方便,并且基本不报错。如果对性能要求不是很高的话,可以采用这种安装方式(比如测试环境)
如果是源码包安装的话,因为在服务器上编译的软件,会让nginx的性能相对更高一些,建议生产环境使用源码包安装
基本配置优化(优化后配置样例,可以改后直接上生产)
#头部配置 user nginx nginx; #定义nginx的启动用户,不建议使用root worker_processes 4; #定位为cpu的内核数量,因为我的环境配置是4核,所以就写4。不过这值最多也就是8,8个以上也就没什么意义了,想继续提升性能只能参考下面一项配置 worker_cpu_affinity 0001 0010 0100 1000; #此项配置为开启多核CPU,对你先弄提升性能有很大帮助nginx默认是不开启的,1为开启,0为关闭,因此先开启第一个倒过来写, 第一位0001(关闭第四个、关闭第三个、关闭第二个、开启第一个) 第二位0010(关闭第四个、关闭第三个、开启第二个、关闭第一个) 第三位0100(关闭第四个、开启第三个、关闭第二个、关闭第一个) 后面的依次类推,有智商的应该都可以看懂了吧? 那么如果是16核或者8核cpu,就注意为00000001、00000010、00000100,总位数与cpu核数一样。 error_log /data/logs/nginx/error.log crit; #这两项基本不用我说 pid /usr/local/nginx/nginx.pid; #Specifies the value for maximum file descriptors that can be opened by this process. worker_rlimit_nofile 65535; #这个值为nginx的worker进程打开的最大文件数,如果不配置,会读取服务器内核参数(通过ulimit -a查看),如果内核的值设置太低会让nginx报错(too many open file),但是在此设置后,就会读取自己配置的参数不去读取内核参数 events { use epoll; #客户端线程轮询方法、内核2.6版本以上的建议使用epoll worker_connections 65535; #设置一个worker可以打开的最大连接数 } http { include mime.types; default_type application/octet-stream; #charset gb2312; server_tokens off; #为错误页面上的nginx版本信息,建议关闭,提升安全性 server_names_hash_bucket_size 128; client_header_buffer_size 32k; large_client_header_buffers 4 32k; client_max_body_size 8m; sendfile on; #开启sendfile()函数,sendfile可以再磁盘和tcp socket之间互相copy数据。 tcp_nopush on; #告诉nginx在数据包中发送所有头文件,而不是一个一个的发 #keepalive_timeout 15; keepalive_timeout 120; tcp_nodelay on; proxy_intercept_errors on; fastcgi_intercept_errors on; fastcgi_connect_timeout 1300; fastcgi_send_timeout 1300; fastcgi_read_timeout 1300; fastcgi_buffer_size 512k; fastcgi_buffers 4 512k; fastcgi_busy_buffers_size 512k; fastcgi_temp_file_write_size 512k; proxy_connect_timeout 20s; proxy_send_timeout 30s; proxy_read_timeout 30s; gzip on; #gzip是告诉nginx采用gzip后的数据来传输文件,会大量减少我们的发数据的量 gzip_min_length 1k; gzip_buffers 4 16k; gzip_http_version 1.0; gzip_comp_level 2; gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png; gzip_vary on; gzip_disable msie6; #limit_zone crawler $binary_remote_addr 10m; log_format main '$http_host $remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" ' '$request_time $upstream_response_time'; #proxy_temp_path和proxy_cache_path指定的路径必须在同一分区,因为它们之间是硬链接的关系 #proxy_temp_path /var/cache/nginx/proxy_temp_dir; #设置Web缓存区名称为cache_one,内存缓存空间大小为200MB,1天没有被访问的内容自动清除,硬盘缓存空间大小为30GB。 #proxy_cache_path /var/cache/nginx/proxy_cache_dir levels=1:2 keys_zone=cache_one:200m inactive=1d max_size=30g; include /usr/local/nginx/conf/vhosts/*.conf; error_page 404 = https://www.niu.com/404/; #error_page 500 502 503 504 = http://service.niu.com/alien/; }
如果是高并发架构,需要在nginx的服务器上添加如下的内核参数
这些参数追加到/etc/sysctl.conf,然后执行sysctl -p 生效。
#每个网络接口接收数据包速度比内核处理速度快的时候,允许发送队列数目数据包的最大数
net.core.netdev_max_backlog = 262144
#调节系统同时发起的tcp连接数
net.core.somaxconn = 262144
#该参数用于设定系统中最多允许存在多少TCP套接字不被关联到任何一个用户文件句柄上,主要目的为防止Ddos攻击
net.ipv4.tcp_max_orphans = 262144
#该参数用于记录尚未收到客户端确认信息的连接请求的最大值
net.ipv4.tcp_max_syn_backlog = 262144
#nginx服务上建议关闭(既为0)
net.ipv4.tcp_timestamps = 0
#该参数用于设置内核放弃TCP连接之前向客户端发送SYN+ACK包的数量,为了建立对端的连接服务,服务器和客户端需要进行三次握手,第二次握手期间,内核需要发送SYN并附带一个回应前一个SYN的ACK,这个参
数主要影响这个过程,一般赋予值为1,即内核放弃连接之前发送一次SYN+ACK包。
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
2、nginx配置lua,添加接口返回值,方便开发debug,这个我在上一篇博客里写过,链接如下:
https://www.cnblogs.com/howtobuildjenkins/p/10876841.html
3、nginx配置https
#server端基本配置
server { listen 80; listen 443 ssl spdy; server_name io.123.com; include ssl/io.com; #注意看下一个文件 location / { proxy_pass http://lb_io; if ($scheme = http ) { return 301 https://$host$request_uri; #此项配置为转换为https的基本配置 } proxy_set_header X-Real-IP $remote_addr; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; } access_log /data/logs/nginx/access/niuaero.log main; }
ssl_certificate ssl/ca/io.com.pem; #这个为购买的https证书,供应商会生成 ssl_certificate_key ssl/ca/io.com.key; ssl_session_timeout 5m; ssl_protocols TLSv1 TLSv1.1 TLSv1.2; #启用TLS1.1、TLS1.2要求OpenSSL1.0.1及以上版本,若您的OpenSSL版本低于要求,请使用 ssl_protocols TLSv1; ssl_ciphers HIGH:!RC4:!MD5:!aNULL:!eNULL:!NULL:!DH:!EDH:!EXP:+MEDIUM; ssl_prefer_server_ciphers on;
4、nginx配置反爬虫
这一块是我最近换工作,想爬个数据(boss直聘、拉钩、智联招聘),看看哪个平台招聘信息多,后来发现boss直聘有个反爬虫机制。。。没让我成功,所以就研究了一下怎么在nginx做这些,内容来源于博客:https://www.centos.bz/2018/01/nginx%E6%94%AF%E6%8C%81https%E5%B9%B6%E4%B8%94%E6%94%AF%E6%8C%81%E5%8F%8D%E7%88%AC%E8%99%AB/
#以下内容添加nginx虚拟主机配置里,proxypass之后
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA为空的访问 if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
好了,暂时能想到的也就这么多,以后要是有新的了再来补齐