一个梦想环游世界的DevOps
——快来看看呀

由于面试被问到nginx优化做过哪些

后来发现,其实做过的也不少,忘了的更不少,因此写个博客记录一下(里面有一些内容来源于其他作者)。

配置文件样例为生产环境样例。

1、nginx基本优化

安装方式有2种:

1、源码包安装   

2、yum(apt-get)安装

区别为如果用yum安装的话,很方便,并且基本不报错。如果对性能要求不是很高的话,可以采用这种安装方式(比如测试环境)

如果是源码包安装的话,因为在服务器上编译的软件,会让nginx的性能相对更高一些,建议生产环境使用源码包安装

基本配置优化(优化后配置样例,可以改后直接上生产)

#头部配置
user  nginx nginx;    #定义nginx的启动用户,不建议使用root
worker_processes  4;  #定位为cpu的内核数量,因为我的环境配置是4核,所以就写4。不过这值最多也就是8,8个以上也就没什么意义了,想继续提升性能只能参考下面一项配置
worker_cpu_affinity 0001 0010 0100 1000;  #此项配置为开启多核CPU,对你先弄提升性能有很大帮助nginx默认是不开启的,1为开启,0为关闭,因此先开启第一个倒过来写,
第一位0001(关闭第四个、关闭第三个、关闭第二个、开启第一个)
第二位0010(关闭第四个、关闭第三个、开启第二个、关闭第一个)
第三位0100(关闭第四个、开启第三个、关闭第二个、关闭第一个)
后面的依次类推,有智商的应该都可以看懂了吧?  那么如果是16核或者8核cpu,就注意为00000001、00000010、00000100,总位数与cpu核数一样。

error_log  /data/logs/nginx/error.log crit;      #这两项基本不用我说
pid        /usr/local/nginx/nginx.pid;

#Specifies the value for maximum file descriptors that can be opened by this process.
worker_rlimit_nofile 65535;    #这个值为nginx的worker进程打开的最大文件数,如果不配置,会读取服务器内核参数(通过ulimit -a查看),如果内核的值设置太低会让nginx报错(too many open
file),但是在此设置后,就会读取自己配置的参数不去读取内核参数

events
{
  use epoll;    #客户端线程轮询方法、内核2.6版本以上的建议使用epoll
  worker_connections 65535;  #设置一个worker可以打开的最大连接数
}
http {
        include       mime.types;
        default_type  application/octet-stream;

        #charset  gb2312;
        server_tokens  off;    #为错误页面上的nginx版本信息,建议关闭,提升安全性

        server_names_hash_bucket_size 128; 
        client_header_buffer_size 32k;
        large_client_header_buffers 4 32k;
        client_max_body_size 8m;

        sendfile on;      #开启sendfile()函数,sendfile可以再磁盘和tcp socket之间互相copy数据。
        tcp_nopush     on;  #告诉nginx在数据包中发送所有头文件,而不是一个一个的发

        #keepalive_timeout 15;
        keepalive_timeout 120;

        tcp_nodelay on;

        proxy_intercept_errors on;
        fastcgi_intercept_errors on;
        fastcgi_connect_timeout 1300;
        fastcgi_send_timeout 1300;
        fastcgi_read_timeout 1300;
        fastcgi_buffer_size 512k;
        fastcgi_buffers 4 512k;
        fastcgi_busy_buffers_size 512k;
        fastcgi_temp_file_write_size 512k;

        proxy_connect_timeout      20s;
        proxy_send_timeout         30s;
        proxy_read_timeout         30s;



        gzip on;            #gzip是告诉nginx采用gzip后的数据来传输文件,会大量减少我们的发数据的量
        gzip_min_length  1k;
        gzip_buffers     4 16k;
        gzip_http_version 1.0;
        gzip_comp_level 2;
        gzip_types       text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;
        gzip_vary on;
        gzip_disable msie6;
        #limit_zone  crawler  $binary_remote_addr  10m;

log_format  main  '$http_host $remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for" '
                  '$request_time $upstream_response_time';

 #proxy_temp_path和proxy_cache_path指定的路径必须在同一分区,因为它们之间是硬链接的关系
 #proxy_temp_path /var/cache/nginx/proxy_temp_dir;
 #设置Web缓存区名称为cache_one,内存缓存空间大小为200MB,1天没有被访问的内容自动清除,硬盘缓存空间大小为30GB。
 #proxy_cache_path /var/cache/nginx/proxy_cache_dir levels=1:2 keys_zone=cache_one:200m inactive=1d max_size=30g;

        include /usr/local/nginx/conf/vhosts/*.conf;

        error_page  404   = https://www.niu.com/404/;
        #error_page   500 502 503 504 = http://service.niu.com/alien/;

 }

  如果是高并发架构,需要在nginx的服务器上添加如下的内核参数

这些参数追加到/etc/sysctl.conf,然后执行sysctl -p 生效。

#每个网络接口接收数据包速度比内核处理速度快的时候,允许发送队列数目数据包的最大数
net.core.netdev_max_backlog = 262144

#调节系统同时发起的tcp连接数
net.core.somaxconn = 262144

#该参数用于设定系统中最多允许存在多少TCP套接字不被关联到任何一个用户文件句柄上,主要目的为防止Ddos攻击
net.ipv4.tcp_max_orphans = 262144

#该参数用于记录尚未收到客户端确认信息的连接请求的最大值
net.ipv4.tcp_max_syn_backlog = 262144

#nginx服务上建议关闭(既为0)
net.ipv4.tcp_timestamps = 0

#该参数用于设置内核放弃TCP连接之前向客户端发送SYN+ACK包的数量,为了建立对端的连接服务,服务器和客户端需要进行三次握手,第二次握手期间,内核需要发送SYN并附带一个回应前一个SYN的ACK,这个参
数主要影响这个过程,一般赋予值为1,即内核放弃连接之前发送一次SYN+ACK包。
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1

2、nginx配置lua,添加接口返回值,方便开发debug,这个我在上一篇博客里写过,链接如下:

https://www.cnblogs.com/howtobuildjenkins/p/10876841.html

 

3、nginx配置https

 

#server端基本配置
server { listen 80; listen 443 ssl spdy; server_name io.123.com; include ssl/io.com;      #注意看下一个文件 location / { proxy_pass http://lb_io; if ($scheme = http ) { return 301 https://$host$request_uri;    #此项配置为转换为https的基本配置 } proxy_set_header X-Real-IP $remote_addr; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; } access_log /data/logs/nginx/access/niuaero.log main; }

  

    ssl_certificate      ssl/ca/io.com.pem;    #这个为购买的https证书,供应商会生成
    ssl_certificate_key  ssl/ca/io.com.key;
    ssl_session_timeout  5m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    #启用TLS1.1、TLS1.2要求OpenSSL1.0.1及以上版本,若您的OpenSSL版本低于要求,请使用 ssl_protocols TLSv1;
    ssl_ciphers  HIGH:!RC4:!MD5:!aNULL:!eNULL:!NULL:!DH:!EDH:!EXP:+MEDIUM;
    ssl_prefer_server_ciphers   on;

  

4、nginx配置反爬虫

这一块是我最近换工作,想爬个数据(boss直聘、拉钩、智联招聘),看看哪个平台招聘信息多,后来发现boss直聘有个反爬虫机制。。。没让我成功,所以就研究了一下怎么在nginx做这些,内容来源于博客:https://www.centos.bz/2018/01/nginx%E6%94%AF%E6%8C%81https%E5%B9%B6%E4%B8%94%E6%94%AF%E6%8C%81%E5%8F%8D%E7%88%AC%E8%99%AB/

#以下内容添加nginx虚拟主机配置里,proxypass之后

if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA为空的访问 if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }

 

好了,暂时能想到的也就这么多,以后要是有新的了再来补齐 

posted on 2019-05-20 10:49  朝澈  阅读(4634)  评论(0编辑  收藏  举报