康乐_SH

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::
马哥教育N63013-第十六周作业

1、对常用I/O模型进行比较说明

对常用I/O模型进行比较说明
服务端 I/O 流程
I/O在计算机中指Input/Output， IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。

Buffer ：缓冲区（写）
Cache：缓存（读）

一次完整的I/O是用户空间的进程数据与内核空间的内核数据的报文的完整交换，但是由于内核空间与用户空间是严格隔离的，所以其数据交换过程中不能由用户空间的进程直接调用内核空间的内存数据，而是需要经历一次从内核空间中的内存数据copy到用户空间的进程内存当中，所以简单来说，I/O就是把数据从内核空间中的内存数据复制到用户空间中进程的内存当中。

Linux 的 I/O

磁盘I/O：磁盘I/O是进程向内核发起系统调用，请求磁盘上的某个资源比如是html文件或者图片，然后内核通过相应的驱动程序将目标文件加载到内核的内存空间，加载完成之后把数据从内核内存再复制给进程内存，如果是比较大的数据也需要等待时间。

网络I/O : 一切皆文件，本质为对socket文件的读写，网络通信就是网络协议栈到用户空间进程的IO就是网络IO

网络I/O 处理过程：

（1）获取请求数据，客户端与服务器建立连接发出请求，服务器接受请求
（2）构建响应，当服务器接收完请求，并在用户空间处理客户端的请求，直到构建响应完成
（3）返回数据，服务器将已构建好的响应再通过内核空间的网络 I/O 发还给客户端

不论是磁盘和网络I/O，每次I/O，都要经由两个阶段：

第一步：将数据从文件先加载至内核内存空间（缓冲区），等待数据准备完成，时间较长
第二步：将数据从内核缓冲区复制到用户空间的进程的内存中，时间较短

I/O 模型
一、I/O 模型相关概念
同步/异步：关注的是消息通信机制，即调用者在等待一件事情的处理结果时，被调用者是否提供完成状态的通知。

同步：synchronous，被调用者并不提供事件的处理结果相关的通知消息，需要调用者主动询问事情是否处理完成
异步：asynchronous，被调用者通过状态、通知或回调机制主动通知调用者被调用者的运行状态
阻塞/非阻塞：关注调用者在等待结果返回之前所处的状态

阻塞：blocking，指IO操作需要彻底完成后才返回到用户空间，调用结果返回之前，调用者被挂起，干不了别的事情。

非阻塞：nonblocking，指IO操作被调用后立即返回给用户一个状态值，而无需等到IO操作彻底完成，在最终的调用结果返回之前，调用者不会被挂起，可以去做别的事情。

二、网络 I/O 模型
阻塞型、非阻塞型、复用型、信号驱动型、异步

2.1阻塞型 I/O 模型（blocking IO）


阻塞IO模型是最简单的I/O模型，用户线程在内核进行IO操作时被阻塞

用户线程通过系统调用read发起I/O读操作，由用户空间转到内核空间。内核等到数据包到达后，然后将接收的数据拷贝到用户空间，完成read操作

用户需要等待read将数据读取到Buffer后，才继续处理接收的数据。整个I/O请求的过程中，用户线程是被阻塞的，这导致用户在发起IO请求时，不能做任何事情，对CPU的资源利用率不够

优点：程序简单，在阻塞等待数据期间进程/线程挂起，基本不会占用 CPU 资源
缺点：每个连接需要独立的进程/线程单独处理，当并发请求量大时为了维护程序，内存、线程切换开销较大，Apache 的Prefork使用的是这种模式。

同步阻塞：程序向内核发送I/O请求后一直等待内核响应，如果内核处理请求的IO操作不能立即返回，则进程将一直等待并不再接受新的请求，并由进程轮询查看I/O是否完成，完成后进程将I/O结果返回给Client，在IO没有返回期间进程不能接受其他客户的请求，而是由进程自己去查看I/O是否完成，这种方式简单，但是比较慢，用的比较少。

2.2非阻塞型 I/O 模型 (nonblocking IO)


用户线程发起IO请求时立即返回。但并未读取到任何数据，用户线程需要不断地发起IO请求，直到数据到达后，才真正读取到数据，继续执行。即 “轮询”机制存在两个问题：如果有大量文件描述符都要等，那么就得一个一个的read。这会带来大量的Context Switch（read是系统调用，每调用一次就得在用户态和内核态切换一次）。轮询的时间不好把握。这里是要猜多久之后数据才能到。等待时间设的太长，程序响应延迟就过大；设的太短，就会造成过于频繁的重试，干耗CPU而已，是比较浪费CPU的方式，一般很少直接使用这种模型，而是在其他IO模型中使用非阻塞IO这一特性。

非阻塞：程序向内核发送I/O请求后一直等待内核响应，如果内核处理请求的IO操作不能立即返回IO结果，进程将不再等待，而且继续处理其他请求，但是仍然需要进程隔一段时间就要查看内核I/O是否完成。

查看上图可知，在设置连接为非阻塞时，当应用进程系统调用 recvfrom 没有数据返回时，内核会立即返回一个 EWOULDBLOCK 错误，而不会一直阻塞到数据准备好。如上图在第四次调用时有一个数据报准备好了，所以这时数据会被复制到 应用进程缓冲区 ，于是 recvfrom 成功返回数据。

当一个应用进程这样循环调用 recvfrom 时，称之为轮询 polling 。这么做往往会耗费大量CPU时间，实际使用很少。

2.3多路复用 I/O 模型(I/O multiplexing)
上面的模型中，每一个文件描述符对应的IO是由一个线程监控和处理
多路复用IO指一个线程可以同时（实际是交替实现，即并发完成）监控和处理多个文件描述符对应各自的IO，即复用同一个线程

一个线程之所以能实现同时处理多个IO，是因为这个线程调用了内核中的SELECT，POLL或EPOLL等系统调用，从而实现多路复用IO

 

I/O multiplexing 主要包括：select，poll，epoll三种系统调用，select/poll/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。

它的基本原理就是select/poll/epoll这个function会不断的轮询所负责的所有socket，当某个socket有数据到达了，就通知用户进程。

当用户进程调用了select，那么整个进程会被block，而同时，kernel会“监视”所有select负责的socket，当任何一个socket中的数据准备好了，select就会返回。这个时候用户进程再调用read操作，将数据从kernel拷贝到用户进程。

Apache prefork是此模式的select，worker是poll模式。

IO多路复用（IO Multiplexing)：是一种机制，程序注册一组socket文件描述符给操作系统，表示“我要监视这些fd是否有IO事件发生，有了就告诉程序处理”

IO多路复用一般和NIO一起使用的。NIO和IO多路复用是相对独立的。NIO仅仅是指IO API总是能立刻返回，不会被Blocking；而IO多路复用仅仅是操作系统提供的一种便利的通知机制。操作系统并不会强制这俩个必须得一起用，可以只用IO多路复用 + BIO，这时还是当前线程被卡住。IO多路复用和NIO是要配合一起使用才有实际意义

IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，就通知该进程

多个连接共用一个等待机制，本模型会阻塞进程，但是进程是阻塞在select或者poll这两个系统调用上，而不是阻塞在真正的IO操作上

用户首先将需要进行IO操作添加到select中，同时等待select系统调用返回。当数据到达时，IO被激活，select函数返回。用户线程正式发起read请求，读取数据并继续执行

从流程上来看，使用select函数进行IO请求和同步阻塞模型没有太大的区别，甚至还多了添加监视IO，以及调用select函数的额外操作，效率更差。并且阻塞了两次，但是第一次阻塞在select上时，select可以监控多个IO上是否已有IO操作准备就绪，即可达到在同一个线程内同时处理多个IO请求的目的。而不像阻塞IO那种，一次只能监控一个IO

虽然上述方式允许单线程内处理多个IO请求，但是每个IO请求的过程还是阻塞的（在select函数上阻塞），平均时间甚至比同步阻塞IO模型还要长。如果用户线程只是注册自己需要的IO请求，然后去做自己的事情，等到数据到来时再进行处理，则可以提高CPU的利用率

IO多路复用是最常使用的IO模型，但是其异步程度还不够“彻底”，因它使用了会阻塞线程的select系统调用。因此IO多路复用只能称为异步阻塞IO模型，而非真正的异步IO

优点：可以基于一个阻塞对象，同时在多个描述符上等待就绪，而不是使用多个线程(每个文件描述符一个线程)，这样可以大大节省系统资源
缺点：当连接数较少时效率相比多线程+阻塞 I/O 模型效率较低，可能延迟更大，因为单个连接处理需要 2 次系统调用，占用时间会有增加

IO多路复用适用如下场合：

当客户端处理多个描述符时（一般是交互式输入和网络套接口），必须使用I/O复用
当一个客户端同时处理多个套接字时，此情况可能的但很少出现
当一个服务器既要处理监听套接字，又要处理已连接套接字，一般也要用到I/O复用
当一个服务器即要处理TCP，又要处理UDP，一般要使用I/O复用
当一个服务器要处理多个服务或多个协议，一般要使用I/O复用
2.4信号驱动式 I/O 模型 (signal-driven IO)


信号驱动I/O的意思就是进程现在不用傻等着，也不用去轮询。而是让内核在数据就绪时，发送信号通知进程。

调用的步骤是，通过系统调用 sigaction ，并注册一个信号处理的回调函数，该调用会立即返回，然后主程序可以继续向下执行，当有I/O操作准备就绪，即内核数据就绪时，内核会为该进程产生一个 SIGIO信号，并回调注册的信号回调函数，这样就可以在信号回调函数中系统调用 recvfrom 获取数据，将用户进程所需要的数据从内核空间拷贝到用户空间

此模型的优势在于等待数据报到达期间进程不被阻塞。用户主程序可以继续执行，只要等待来自信号处理函数的通知。

在信号驱动式 I/O 模型中，应用程序使用套接口进行信号驱动 I/O，并安装一个信号处理函数，进程继续运行并不阻塞

当数据准备好时，进程会收到一个 SIGIO 信号，可以在信号处理函数中调用 I/O 操作函数处理数据。

优点：线程并没有在等待数据时被阻塞，内核直接返回调用接收信号，不影响进程继续处理其他请求，因此可以提高资源的利用率
缺点：信号 I/O 在大量 IO 操作时可能会因为信号队列溢出导致没法通知

异步阻塞：程序进程向内核发送IO调用后，不用等待内核响应，可以继续接受其他请求，内核收到进程请求后进行的IO如果不能立即返回，就由内核等待结果，直到IO完成后内核再通知进程。

2.5异步 I/O 模型 (asynchronous IO)


异步I/O 与 信号驱动I/O最大区别在于，信号驱动是内核通知用户进程何时开始一个I/O操作，而异步I/O是由内核通知用户进程I/O操作何时完成，两者有本质区别，相当于不用去饭店吃饭，直接点个外卖，把等待上菜的时间也给省了

相对于同步I/O，异步I/O不是顺序执行。用户进程进行aio_read系统调用之后，无论内核数据是否准备好，都会直接返回给用户进程，然后用户态进程可以去做别的事情。等到socket数据准备好了，内核直接复制数据给进程，然后从内核向进程发送通知。IO两个阶段，进程都是非阻塞的。

信号驱动IO当内核通知触发信号处理程序时，信号处理程序还需要阻塞在从内核空间缓冲区拷贝数据到用户空间缓冲区这个阶段，而异步IO直接是在第二个阶段完成后，内核直接通知用户线程可以进行后续操作了

优点：异步 I/O 能够充分利用 DMA 特性，让 I/O 操作与计算重叠
缺点：要实现真正的异步 I/O，操作系统需要做大量的工作。目前 Windows 下通过 IOCP 实现了真正的异步 I/O，在 Linux 系统下，Linux 2.6才引入，目前 AIO 并不完善，因此在 Linux 下实现高并发网络编程时以 IO 复用模型模式+多线程任务的架构基本可以满足需求

Linux提供了AIO库函数实现异步，但是用的很少。目前有很多开源的异步IO库，例如libevent、libev、libuv。

异步非阻塞：程序进程向内核发送IO调用后，不用等待内核响应，可以继续接受其他请求，内核调用的IO如果不能立即返回，内核会继续处理其他事物，直到IO完成后将结果通知给内核，内核在将IO完成的结果返回给进程，期间进程可以接受新的请求，内核也可以处理新的事物，因此相互不影响，可以实现较大的同时并实现较
高的IO复用，因此异步非阻塞是使用最多的一种通信方式。

2.6五种 IO 模型对比
这五种 I/O 模型中，越往后，阻塞越少，理论上效率也是最优。前四种属于同步 I/O，因为其中真正的 I/O操作(recvfrom)将阻塞进程/线程，只有异步 I/O 模型才与 POSIX 定义的异步 I/O 相匹配

 

2.7I/O 的具体实现方式
Nginx支持在多种不同的操作系统实现不同的事件驱动模型，但是其在不同的操作系统甚至是不同的系统版本上面的实现方式不尽相同，主要有以下实现方式：

1、select：
select库是在linux和windows平台都基本支持的 事件驱动模型库，并且在接口的定义也基本相同，只是部分参数的含义略有差异，最大并发限制1024，是最早期的事件驱动模型。select是Apache采用的一种I/O模型。

2、poll：
在Linux 的基本驱动模型，windows不支持此驱动模型，是select的升级版，取消了最大的并发限制，在编译nginx的时候可以使用–with-poll_module和–without-poll_module这两个指定是否编译select库。

3、epoll：
epoll库是Nginx服务器支持的最高性能的事件驱动库之一，是公认的非常优秀的事件驱动模型，它和select和poll有很大的区别，epoll是poll的升级版，但是与poll有很大的区别。

epoll的处理方式是创建一个待处理的事件列表，然后把这个列表发给内核，返回的时候在去轮询检查这个表，以判断事件是否发生，epoll支持一个进程打开的最大事件描述符的上限是系统可以打开的文件的最大数，同时epoll库的I/O效率不随描述符数目增加而线性下降，因为它只会对内核上报的“活跃”的描述符进行操作。

4、kqueue：
用于支持BSD系列平台的高效事件驱动模型，主要用在FreeBSD 4.1及以上版本、OpenBSD 2.0级以上版本，NetBSD级以上版本及Mac OS X 平台上，该模型也是poll库的变种，因此和epoll没有本质上的区别，都是通过避免轮询操作提供效率。

5、Iocp：
Windows系统上的实现方式，对应第5种（异步I/O）模型。

6、rtsig：
不是一个常用事件驱动，最大队列1024，不是很常用

7、/dev/poll:
用于支持unix衍生平台的高效事件驱动模型，主要在Solaris 平台、HP/UX，该模型是sun公司在开发

Solaris系列平台的时候提出的用于完成事件驱动机制的方案，它使用了虚拟的/dev/poll设备，开发人员将要见识的文件描述符加入这个设备，然后通过ioctl()调用来获取事件通知，因此运行在以上系列平台的时候请使用/dev/poll事件驱动机制。

8、eventport：
该方案也是sun公司在开发Solaris的时候提出的事件驱动库，只是Solaris 10以上的版本，该驱动库看防止内核崩溃等情况的发生。

三、常用I/O模型比较


select poll epoll
操作方式 遍历 遍历 回调
底层实现 数组 链表 哈希表
IO效率 每次调用都进行遍历，时间复杂度为O(n) 同左 事件通知方式，每当fd就绪，系统注册的回调函数就会被调用，将就绪的fd放到rdllist里，时间复杂度O(1)
最大连接数 1024(x86) 2048(x64) 无上限 无上限
fd拷贝 每次调用select都需要把fd集合从用户态拷贝到内核态 每次调用poll都需要把fd集合从用户态拷贝到内核态 调用epoll_ctl时拷贝进内核并保存，之后每次epoll_wait不拷贝
Select：
POSIX所规定，目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点，本质上是通过设置或者检查存放fd标志位的数据结构来进行下一步处理

缺点：
（1）单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，可以通过修改宏定义FD_SETSIZE，再重新编译内核实现，但是这样也会造成效率的降低
（2）单个进程可监视的fd数量被限制，默认是1024，修改此值需要重新编译内核
（3）对socket是线性扫描，即采用轮询的方法，效率较低
（4）select 采取了内存拷贝方法来实现内核将 FD 消息通知给用户空间，这样一个用来存放大量fd的数据结构，这样会使得用户空间和内核空间在传递该结构时复制开销大

poll：
（1）本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态
（2）其没有最大连接数的限制，原因是它是基于链表来存储的
（3）大量的fd的数组被整体复制于用户态和内核地址空间之间，而不管这样的复制是不是有意义
（4）poll特点是“水平触发”，如果报告了fd后，没有被处理，那么下次poll时会再次报告该fd
（5）select是边缘触发即只通知一次

epoll：
（1）在Linux 2.6内核中提出的select和poll的增强版本
（2）支持水平触发LT和边缘触发ET，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就需态，并且只会通知一次
（3）使用“事件”的就绪通知方式，通过epoll_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll_wait便可以收到通知

优点:
（1）没有最大并发连接的限制：能打开的FD的上限远大于1024(1G的内存能监听约10万个端口)，具体查看/proc/sys/fs/file-max，此值和系统内存大小相关
（2）效率提升：非轮询的方式，不会随着FD数目的增加而效率下降；只有活跃可用的FD才会调用callback函数，即epoll最大的优点就在于它只管理“活跃”的连接，而跟连接总数无关
（3）内存拷贝，利用mmap(Memory Mapping)加速与内核空间的消息传递；即epoll使用mmap减少复制开销

总结：
1、epoll只是一组API，比起select这种扫描全部的文件描述符，epoll只读取就绪的文件描述符，再加入基于事件的就绪通知机制，所以性能比较好
2、基于epoll的事件多路复用减少了进程间切换的次数，使得操作系统少做了相对于用户任务来说的无用功。
3、epoll比select等多路复用方式来说，减少了遍历循环及内存拷贝的工作量，因为活跃连接只占总并发连接的很小一部分。

 

2、nginx中的模块分类及常见核心模块有哪些

Nginx模块介绍
*核心模块：是Nginx服务器正常运行必不可少的模块，提供错误日志记录、配置文件解析、事件驱动机制、进程管理等核心功能。
*标准HTTP模块：提供HTTP协议解析相关的功能，比如：端口配合、网页编码设置、HTTP响应头设置等等。
*可选HTTP模块：主要用于扩展标准的HTTP功能，让Nginx能处理一些特殊的服务，比如：Flash多媒体传输、解析GeoIP请求、网络传输压缩、安全协议SSL支持等
*邮件服务模块：主要用于支持Nginx的邮件服务，包括对POP3协议、IMAP协议和SMTP协议的支持
*Stream服务模块：实现反向代理功能，包括TCP协议代理
*第三方模块：是为了扩展Nginx服务器应用，完成开发者自定义功能，比如：Json支持、Lua支持等

模块分类：
核心模块：core module
标准模块：
    HTTP 模块： ngx_http_*
                HTTP Core modules       #默认功能
                HTTP Optional modules  #需编译时指定
    Mail模块：  ngx_mail_*
    Stream模块：ngx_stream_*
第三方模块

 

3、描述nginx中worker_processes、worker_cpu_affinity、worker_rlimit_nofile、worker_connections配置项的含义

nginx配置文件格式说明：

  • 配置文件由指令与指令块构成
  • 每条指令以;分号结尾，指令与值之间以空格符号分隔
  • 可以将多条指令放在同一行，用分号分隔即可，但可读性差，不推荐
  • 指令块以{ }大括号将多条指令组织在一起，且可以嵌套指令块
  • include语句允许组合多个配置文件以提升可维护性
  • 使用#符号添加注释，提高可读性
  • 使用$符号使用变量
  • 部分指令的参数支持正则表达式

worker_processes

启动Nginx工作进程的数量，一般设为和CPU核心数相同，auto：自动检测，设置为当前主机cpu的核心数

worker_processes [number | auto];  

[root@centos7 ~]#ps aux|grep nginx
root       1301  0.0  0.0  46344  2020 ?        Ss   18:52   0:00 nginx: master process /apps/nginx/sbin/nginx -c /apps/nginx/conf/nginx.conf
nginx      2011  0.0  0.1  46772  2276 ?        S    21:21   0:00 nginx: worker process
root       2211  0.0  0.0 112808   968 pts/1    S+   22:54   0:00 grep --color=auto nginx

#将工作进程的数量设置为2个
[root@centos7 ~]#vim /apps/nginx/conf/nginx.conf
worker_processes  2;
[root@centos7 ~]#nginx -s reload
[root@centos7 ~]#ps aux|grep nginx
root       1301  0.0  0.1  46232  2060 ?        Ss   18:52   0:00 nginx: master process /apps/nginx/sbin/nginx -c /apps/nginx/conf/nginx.conf
nginx      2241  0.0  0.0  46652  1932 ?        S    23:02   0:00 nginx: worker process
nginx      2242  0.0  0.0  46652  1932 ?        S    23:02   0:00 nginx: worker process
root       2244  0.0  0.0 112808   968 pts/1    S+   23:02   0:00 grep --color=auto nginx

 

worker_cpu_affinity

将nginx工作进程绑定到指定的cpu核心，默认nginx是不进行进程绑定的，绑定并不是意味着当前nginx进程独占一核心cpu，但是可以保住此进程不会运行在其他核心上，这就极大减少了nginx的工作进程在不同的cpu核心上的来回跳转，减少了cpu对进程的资源分配与回收以及内存管理等，因此可以有效的提升nginx服务器的性能。

worker_cpu_affinity 00000001 00000010 00000100 00001000 | auto;

CPU MASK: 00000001：0号CPU
          00000010：1号CPU
          10000000：7号CPU

[root@centos7 ~]#ps axo pid,cmd,psr |grep nginx
  1301 nginx: master process /apps   1
  2241 nginx: worker process         0
  2242 nginx: worker process         0
  2340 grep --color=auto nginx       1

#将第一个工作进程绑定到 CPU0，将第二个工作进程绑定到 CPU1
[root@centos7 ~]#vim /apps/nginx/conf/nginx.conf
worker_processes  2;
worker_cpu_affinity 01 10;
[root@centos7 ~]#nginx -s reload
[root@centos7 ~]#ps axo pid,cmd,psr |grep nginx
  1274 nginx: master process /apps   0
  2029 nginx: worker process         0
  2030 nginx: worker process         1
  2036 grep --color=auto nginx       1

 

worker_rlimit_nofile

所有worker进程能打开的文件数量上限，包括：nginx的所有连接（例如与代理服务器的连接等），而不仅仅是与客户端的连接，另一个考虑因素是实际的并发连接数不能超过系统级别的最大打开文件数的限制。最好与ulimit -n或者limits.conf的值保持一致。用于在不重启启动主进程的情况下增加限制。

 1 #设置工作进程的最大打开文件数为65536
 2 [root@centos7 ~]#vim /apps/nginx/conf/nginx.conf
 3 worker_rlimit_nofile 65536;
 4 
 5 [root@centos7 ~]#ulimit -n 100000
 6 [root@centos7 ~]#ulimit -a
 7 core file size          (blocks, -c) 0
 8 data seg size           (kbytes, -d) unlimited
 9 scheduling priority             (-e) 0
10 file size               (blocks, -f) unlimited
11 pending signals                 (-i) 7835
12 max locked memory       (kbytes, -l) 64
13 max memory size         (kbytes, -m) unlimited
14 open files                      (-n) 100000
15 pipe size            (512 bytes, -p) 8
16 POSIX message queues     (bytes, -q) 819200
17 real-time priority              (-r) 0
18 stack size              (kbytes, -s) 8192
19 cpu time               (seconds, -t) unlimited
20 max user processes              (-u) 7835
21 virtual memory          (kbytes, -v) unlimited
22 file locks                      (-x) unlimited
23 
24 #修改PAM资源限制
25 [root@centos7 ~]#vim /etc/security/limits.conf
26 *                soft    core            unlimited
27 *                hard    core            unlimited
28 *                soft    nproc           1000000
29 *                hard    nproc           1000000
30 *                soft    nofile          1000000
31 *                hard    nofile          1000000
32 *                soft    memlock         32000
33 *                hard    memlock         32000
34 *                soft    msgqueue        8192000
35 *                hard    msgqueue        8192000
36 
37 #重启生效
38 [root@centos7 ~]#reboot
39 [root@centos7 ~]#ulimit -n
40 1000000
41 [root@centos7 ~]#ulimit -a
42 core file size          (blocks, -c) unlimited
43 data seg size           (kbytes, -d) unlimited
44 scheduling priority             (-e) 0
45 file size               (blocks, -f) unlimited
46 pending signals                 (-i) 7835
47 max locked memory       (kbytes, -l) 32000
48 max memory size         (kbytes, -m) unlimited
49 open files                      (-n) 1000000
50 pipe size            (512 bytes, -p) 8
51 POSIX message queues     (bytes, -q) 8192000
52 real-time priority              (-r) 0
53 stack size              (kbytes, -s) 8192
54 cpu time               (seconds, -t) unlimited
55 max user processes              (-u) 1000000
56 virtual memory          (kbytes, -v) unlimited
57 file locks                      (-x) unlimited

 

work_connections

设置单个工作进程可以同时打开的最大连接数。这个数字包括所有连接（例如与代理服务器的连接等），而不仅仅是与客户端的连接。另一个考虑是实际同时连接数不能超过当前最大打开文件数限制，可以通过work_rlimit_nofile更改。

  • 作为web服务器的时候最大并发数为：work_connections * worker_processes
  • 作为反向代理的时候为：(work_connnections*worker_processes)/2
1 [root@centos7 ~]#vim /apps/nginx/conf/nginx.conf
2 events {
3     worker_connections  10240;
4     accept_mutex on;
5     multi_accept on;
6 }
7 
8 [root@centos7 ~]#nginx -s reload

Nginx性能优化建议

1 Syntax：accept_mutex on | off;
2 Default：accept_mutex off;
3 Context：events
4 
5 #建议设置为accept_mutex on;

如果accept_mutex启用，工作进程将依次接受新连接，默认为off。否则，将通知所有工作进程有关新连接的信息，如果新连接量较低，则某些工作进程可能只是浪费系统资源，在高并发场景下，建议设置为on。

Syntax：multi_accept on | off;
Default：multi_accept off;
Context：events

#建议设置为multi_accept on;

如果multi_accept禁用，工作进程将一次接受一个新连接，默认为off。开启后，工作进程将一次接受所有新连接。建议设置为on

4、编译安装nginx，实现多域名 https"

一、编译安装 Nginx
1.1编译安装

 1 [root@centos7 ~]# yum -y install gcc pcre-devel openssl-devel zlib-devel
 2 [root@centos7 ~]#useradd -s /sbin/nologin nginx
 3 [root@centos7 ~]#wget http://nginx.org/download/nginx-1.18.0.tar.gz
 4 [root@centos7 ~]#tar xf nginx-1.18.0.tar.gz
 5 [root@centos7 ~]#cd nginx-1.18.0/
 6 [root@centos7 nginx-1.18.0]#ls
 7 auto  CHANGES  CHANGES.ru  conf  configure  contrib  html  LICENSE  man  README  src
 8 [root@centos7 nginx-1.18.0]#./configure --prefix=/apps/nginx \
 9 --user=nginx \
10 --group=nginx \
11 --with-http_ssl_module \
12 --with-http_v2_module \
13 --with-http_realip_module \
14 --with-http_stub_status_module \
15 --with-http_gzip_static_module \
16 --with-pcre \
17 --with-stream \
18 --with-stream_ssl_module \
19 --with-stream_realip_module
20 
21 [root@centos7 nginx-1.18.0]#make -j 2
22 [root@centos7 nginx-1.18.0]#make install
23 
24 #修改权限
25 [root@centos7 nginx-1.18.0]#chown -R nginx.nginx /apps/nginx/
26 
27 #nginx完成安装以后，有四个主要的目录
28 [root@centos7 nginx-1.18.0]# ll /apps/nginx/
29 总用量 0
30 drwxr-xr-x 2 nginx nginx 333 4月  15 14:16 conf
31 drwxr-xr-x 2 nginx nginx  40 4月  15 14:16 html
32 drwxr-xr-x 2 nginx nginx   6 4月  15 14:16 logs
33 drwxr-xr-x 2 nginx nginx  19 4月  15 14:16 sbin
34 #conf：保存nginx所有的配置文件，其中nginx.conf是nginx服务器的最核心最主要的配置文件，其他的.conf则是用来配置nginx相关的功能的，例如fastcgi功能使用的是fastcgi.conf和fastcgi_params两个文件，配置文件一般都有个样板配置文件，是文件名.default结尾，使用的使用将其复制为并将default去掉即可。
35 
36 #html：保存了nginx服务器的web文件，但是可以更改为其他目录保存web文件，另外还有一个50x的web文件是默认的错误页面提示页面。
37 
38 #logs：用来保存nginx服务器的访问日志错误日志等日志，logs目录可以放在其他路径，比如/var/logs/nginx里面。
39 
40 #sbin：保存nginx二进制启动脚本，可以接受不同的参数以实现不同的功能。

1.2验证版本及编译参数

 1 [root@centos7 nginx-1.18.0]#ls /apps/nginx/sbin/
 2 nginx
 3 [root@centos7 nginx-1.18.0]#ln -s /apps/nginx/sbin/nginx /usr/sbin/
 4 
 5 #查看版本
 6 [root@centos7 nginx-1.18.0]#nginx -v
 7 nginx version: nginx/1.18.0
 8 
 9 #查看编译参数
10 [root@centos7 nginx-1.18.0]#nginx -V
11 nginx version: nginx/1.18.0
12 built by gcc 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC)
13 built with OpenSSL 1.0.2k-fips  26 Jan 2017
14 TLS SNI support enabled
15 configure arguments: --prefix=/apps/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_v2_module --with-http_realip_module --with-http_stub_status_module --with-http_gzip_static_module --with-pcre --with-stream --with-stream_ssl_module --with-stream_realip_module

1.3创建service文件

 1 [root@centos7 nginx-1.18.0]#vim /usr/lib/systemd/system/nginx.service
 2 [Unit]
 3 Description=nginx - high performance web server
 4 Documentation=http://nginx.org/en/docs/
 5 After=network-online.target remote-fs.target nss-lookup.target
 6 Wants=network-online.target
 7 
 8 [Service]
 9 Type=forking
10 PIDFile=/apps/nginx/run/nginx.pid
11 ExecStart=/apps/nginx/sbin/nginx -c /apps/nginx/conf/nginx.conf
12 ExecReload=/bin/kill -s HUP $MAINPID
13 ExecStop=/bin/kill -s TERM $MAINPID
14 LimitNOFILE=100000
15 
16 [Install]
17 WantedBy=multi-user.target
18 
19 #创建目录
20 [root@centos7 nginx-1.18.0]#mkdir /apps/nginx/run/
21 [root@centos7 nginx-1.18.0]#chown -R nginx.nginx /apps/nginx/run/
22 
23 #修改配置文件
24 [root@centos7 nginx-1.18.0]#vim /apps/nginx/conf/nginx.conf
25 pid        /apps/nginx/run/nginx.pid;

1.5测试验证

 1 [root@centos7 ~]#curl -I 10.0.0.7
 2 HTTP/1.1 200 OK
 3 Server: nginx/1.18.0
 4 Date: Mon, 28 Mar 2022 11:59:51 GMT
 5 Content-Type: text/html
 6 Content-Length: 612
 7 Last-Modified: Mon, 28 Mar 2022 07:45:26 GMT
 8 Connection: keep-alive
 9 ETag: "62416796-264"
10 Accept-Ranges: bytes

二、实现多域名
2.1新建PC web站点和Mobile web站点

 1 #定义子配置文件路径
 2 [root@centos7 ~]#mkdir /apps/nginx/conf/conf.d
 3 [root@centos7 ~]#vim /apps/nginx/conf/nginx.conf 
 4 http {
 5     server_tokens off;
 6     include       mime.types;
 7     include       /apps/nginx/conf/conf.d/*.conf; #在配置文件的最后面添加此行，注意不要放在最前面，会导致前面的命令无法生效
 8 }
 9 
10 [root@centos7 ~]#mkdir /data/nginx/html/pc/ -pv
11 mkdir: created directory ‘/data/nginx’
12 mkdir: created directory ‘/data/nginx/html’
13 mkdir: created directory ‘/data/nginx/html/pc/’
14 [root@centos7 ~]#mkdir /data/nginx/html/mobile/ -pv
15 mkdir: created directory ‘/data/nginx/html/mobile/’
16 [root@centos7 ~]#tree /data/nginx/
17 /data/nginx/
18 └── html
19     ├── mobile
20     └── pc
21 
22 3 directories, 0 files
23 
24 [root@centos7 ~]#echo "pc website" > /data/nginx/html/pc/index.html
25 [root@centos7 ~]#echo "mobile website" > /data/nginx/html/mobile/index.html
26 
27 #创建PC网站配置
28 [root@centos7 ~]#vim /apps/nginx/conf/conf.d/pc.conf
29 server{
30    listen 80;
31    server_name www.linux2022.com;
32    location / {
33        root /data/nginx/html/pc;
34   }
35 }
36 
37 [root@centos7 ~]#nginx -t
38 [root@centos7 ~]#nginx -s reload
39 
40 #测试访问
41 [root@ubuntu1804 ~]#vim /etc/hosts
42 10.0.0.7 www.linux2022.com
43 [root@ubuntu1804 ~]#curl www.linux2022.com
44 pc website
45 
46 
47 #创建Mobile网站配置
48 [root@centos7 ~]#cd /apps/nginx/conf/conf.d/
49 [root@centos7 conf.d]#ls
50 pc.conf
51 [root@centos7 conf.d]#cp pc.conf mobile.conf
52 [root@centos7 conf.d]#vim mobile.conf
53 server{
54    listen 80;
55    server_name m.linux2022.com;
56    location / {
57        root /data/nginx/html/mobile;
58   }
59 }
60 
61 [root@centos7 conf.d]#nginx -s reload
62 
63 #测试访问
64 [root@ubuntu1804 ~]#vim /etc/hosts
65 10.0.0.7 www.linux2022.com m.linux2022.com
66 [root@ubuntu1804 ~]#curl m.linux2022.com
67 mobile website

三、实现多域名 https
nginx的https功能基于模块ngx_http_ssl_module实现，因此如果是编译安装的nginx要使用参数ngx_http_ssl_module开启ssl功能，但是作为nginx的核心功能，yum安装的nginx默认就是开启的，编译安装的nginx需要指定编译参数–with-http_ssl_module开启Nginx支持基于单个IP实现多域名的功能，并且还支持单IP多域名的基础之上实现HTTPS，其实是基于Nginx的 SNI（Server Name Indication）功能实现，SNI是为了解决一个Nginx服务器内使用一个IP绑定多个域名和证书的功能，其具体功能是客户端在连接到服务器建立SSL链接之前先发送要访问站点的域名（Hostname），这样服务器再根据这个域名返回给客户端一个合适的证书。

1 [root@centos7 ~]#nginx -V
2 nginx version: nginx/1.18.0
3 built by gcc 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC)
4 built with OpenSSL 1.0.2k-fips  26 Jan 2017
5 TLS SNI support enabled
6 configure arguments: --prefix=/apps/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_v2_module --with-http_realip_module --with-http_stub_status_module --with-http_gzip_static_module --with-pcre --with-stream --with-stream_ssl_module --with-stream_realip_module

配置参数如下：

ssl on | off;
#为指定的虚拟主机配置是否启用ssl功能，此功能在1.15.0废弃，使用listen [ssl]替代
listen 443 ssl;

ssl_certificate /path/to/file;
#指向包含当前虚拟主机和CA的两个证书信息的文件，一般是crt文件

ssl_certificate_key /path/to/file;
#当前虚拟主机使用的私钥文件，一般是key文件

ssl_protocols [SSLv2] [SSLv3] [TLSv1] [TLSv1.1] [TLSv1.2];
#支持ssl协议版本，早期为ssl现在是TLS，默认为后三个

ssl_session_cache off | none | [builtin[:size]] [shared:name:size];

#配置ssl缓存
off： #关闭缓存
none: #通知客户端支持ssl session cache，但实际不支持
builtin[:size]：#使用OpenSSL内建缓存，为每worker进程私有
[shared:name:size]：#在各worker之间使用一个共享的缓存，需要定义一个缓存名称和缓存空间大小，一兆可以存储4000个会话信息，多个虚拟主机可以使用相同的缓存名称

ssl_session_timeout time;
#客户端连接可以复用ssl session cache中缓存的有效时长，默认5m

3.1生成PC站点自签名证书

 1 [root@centos7 ~]#cd /apps/nginx/conf/conf.d/
 2 [root@centos7 conf.d]#ls
 3 mobile.conf  pc.conf
 4 [root@centos7 conf.d]#pwd
 5 /apps/nginx/conf/conf.d
 6 [root@centos7 conf.d]#mkdir ssl
 7 [root@centos7 conf.d]#cd ssl/
 8 
 9 #脚本实现自签名证书
10 [root@centos7 ssl]#cat certificate.sh
11 #!/bin/bash
12 CA_SUBJECT="/O=linux2022/CN=ca.linux2022.com"
13 SUBJECT="/C=CN/ST=guangdong/L=guangzhou/O=linux2022/CN=www.linux2022.com"
14 SERIAL=34
15 EXPIRE=3650
16 FILE=linux2022.com
17 
18 openssl req  -x509 -newkey rsa:2048 -subj $CA_SUBJECT -keyout ca.key -nodes -days 3650 -out ca.crt
19 
20 openssl req -newkey rsa:2048 -nodes -keyout ${FILE}.key  -subj $SUBJECT -out ${FILE}.csr
21 
22 openssl x509 -req -in ${FILE}.csr  -CA ca.crt -CAkey ca.key -set_serial $SERIAL  -days $EXPIRE -out ${FILE}.crt
23 
24 chmod 600 ${FILE}.key ca.key
25 
26 [root@centos7 ssl]#bash -n certificate.sh
27 [root@centos7 ssl]#bash certificate.sh
28 [root@centos7 ssl]#ls
29 ca.crt  ca.key  certificate.sh  linux2022.com.crt  linux2022.com.csr  linux2022.com.key
30 
31 #合并CA和服务器证书成一个文件，注意服务器证书在前
32 [root@centos7 ssl]#cat linux2022.com.crt ca.crt > www.linux2022.com.crt
33 
34 [root@centos7 ssl]#mv linux2022.com.key www.linux2022.com.key
35 [root@centos7 ssl]#ll www.linux2022.com.*
36 -rw-r--r-- 1 root root 2279 Mar 30 10:24 www.linux2022.com.crt
37 -rw------- 1 root root 1708 Mar 30 10:12 www.linux2022.com.key

3.2 PC web站点https 配置

 1 [root@centos7 ssl]#cd ..
 2 [root@centos7 conf.d]#pwd
 3 /apps/nginx/conf/conf.d
 4 [root@centos7 conf.d]#ls
 5 mobile.conf  pc.conf  ssl
 6 [root@centos7 conf.d]#vim pc.conf
 7 server{
 8    listen 80;
 9    listen 443 ssl;
10    ssl_certificate /apps/nginx/conf/conf.d/ssl/www.linux2022.com.crt;
11    ssl_certificate_key /apps/nginx/conf/conf.d/ssl/www.linux2022.com.key;
12    ssl_session_cache shared:sslcache:20m;
13    ssl_session_timeout 10m;
14 
15    server_name www.linux2022.com;
16    location / {
17      root /data/nginx/html/pc;
18   }
19 }
20 
21 [root@centos7 conf.d]#nginx -t
22 [root@centos7 conf.d]#nginx -s reload

3.3PC web站点https访问验证

1 [root@ubuntu1804 ~]#curl https://www.linux2022.com -k
2 pc website

3.4生成Mobile站点自签名证书

 1 [root@centos7 ssl]#pwd
 2 /apps/nginx/conf/conf.d/ssl
 3 [root@centos7 ssl]#vim certificate.sh
 4 #!/bin/bash
 5 CA_SUBJECT="/O=linux2022/CN=ca.linux2022.com"
 6 SUBJECT="/C=CN/ST=guangdong/L=guangzhou/O=linux2022/CN=m.linux2022.com"
 7 SERIAL=34
 8 EXPIRE=3650
 9 FILE=m.linux2022.com
10 
11 openssl req  -x509 -newkey rsa:2048 -subj $CA_SUBJECT -keyout ca.key -nodes -days 3650 -out ca.crt
12 
13 openssl req -newkey rsa:2048 -nodes -keyout ${FILE}.key  -subj $SUBJECT -out ${FILE}.csr
14 
15 openssl x509 -req -in ${FILE}.csr  -CA ca.crt -CAkey ca.key -set_serial $SERIAL  -days $EXPIRE -out ${FILE}.crt
16 
17 chmod 600 ${FILE}.key ca.key
18 
19 [root@centos7 ssl]#rm -f ca*
20 [root@centos7 ssl]#rm -f linux2022.com.c*
21 [root@centos7 ssl]#ls
22 certificate.sh  www.linux2022.com.crt  www.linux2022.com.key
23 
24 [root@centos7 ssl]#bash -n certificate.sh
25 [root@centos7 ssl]#bash certificate.sh
26 [root@centos7 ssl]#ls
27 ca.crt  certificate.sh       m.linux2022.com.csr  www.linux2022.com.crt
28 ca.key  m.linux2022.com.crt  m.linux2022.com.key  www.linux2022.com.key
29 
30 #合并证书文件
31 [root@centos7 ssl]#cat m.linux2022.com.crt ca.crt > m.linux2022.com.pem

3.5Mobile web站点https 配置

 1 [root@centos7 ssl]#cd ..
 2 [root@centos7 conf.d]#pwd
 3 /apps/nginx/conf/conf.d
 4 [root@centos7 conf.d]#ls
 5 mobile.conf  pc.conf  ssl
 6 [root@centos7 conf.d]#vim mobile.conf
 7 server{
 8    listen 80;
 9    listen 443 ssl;
10    ssl_certificate /apps/nginx/conf/conf.d/ssl/m.linux2022.com.pem;
11    ssl_certificate_key /apps/nginx/conf/conf.d/ssl/m.linux2022.com.key;
12    ssl_session_cache shared:sslcache:20m;
13    ssl_session_timeout 10m;
14 
15    server_name m.linux2022.com;
16    location / {
17      root /data/nginx/html/mobile;
18   }
19 }
20 
21 [root@centos7 conf.d]#nginx -t
22 [root@centos7 conf.d]#nginx -s reload

3.6Mobile web站点https访问验证

[root@ubuntu1804 ~]#curl https://m.linux2022.com -k
mobile website

posted on 2022-04-15 15:19  康乐_SH  阅读(32)  评论(1)  编辑  收藏  举报