如何构建高性能服务器（以Nginx为例）
方法论
软件层面
增大CPU利用率
-
使用全部CPU, worker进程数等于CPU
-
进程间不做无用的切换
-
繁忙时不主动让出CPU
-
worker进程之间不争抢CPU
-
CPU切换需要5us，如果大量进程需要切换，则CPU会浪费大量的时间切换，做无用功
-
worker进程绑定CPU
pidstat -w可以查看某个进程的切换次数
-
不被其他进程抢占资源
-
提高进程优先级，获得更大的CPU时间片
-
减少其他进程
-
减少惊群
场景：多个worker进程accept同一个端口时
-
默认accept_mutex on
多个worker进程争抢锁获得连接，同时只有一个worker获得连接
-
accept_mutex off
一个连接请求唤醒所有worker进程，同时只有一个worker获得连接，存在惊群问题，当worker进程数不多时，影响不大，少了争锁，高并发时可以提高系统响应能力
-
SO_REUSEPORT
内核3.9+处理大并发连接新特性，开启后，连接通过内核分配worker进程，性能最好
-
-
提高CPU缓存命中率
绑定worker到指定CPU: worker_cpu_affinity cpumask...
增大内存利用率
-
使用tcmalloc
减少内存碎片
并发能力高于glibc，并发数越多，性能越能体现（小内存分配）
google-perftools/.../tcmalloc.html
需要手动编译到nginx
增大IO利用率
-
对比
机械硬盘
- 价格低
- 存储量大
- BPS大，适合顺序读写
- IOPS小，不适合随机读写
- 寿命长
固态应胖
- 价格高
- 存储量小
- BPS大
- IOPS大
- 写寿命短
-
优化读取
-
sendfile零拷贝
文件直接从内核态的文件到socket的传递
location /video/{ sendfile on; aio on; directio 8m; } -
gzip_static
提前压缩文件，加快gzip报文的返回
-
内存盘/SSD盘
-
-
减少写入
-
empty_gif
使用返回一张1*1的空白图片，以减少http的返回报文长度
-
AIO
在磁盘读写时，进程可以处理其他事情
aio on|off|threads=[pool]
-
直接IO，减少一次缓存的读写
directio size|off 超过size则使用直接io，适合大文件
-
增大error_log级别
-
error.log输出到内存
error_log memory: 32m debug
日志在32m的内存进行循环输出，只能看到32m的调试日志，可以提高性能
-
关闭access_log
-
压缩access_log
access_log path [format] [gzip]
-
是否开启proxy buffering
-
syslog替代本地io
使用UDP写入代替io写入，提高性能
-
-
线程池thread pool
当某些io会阻塞时，使用线程池
增大网络宽带利用率
-
syn重试次数
net.ipv4.tcp_syn_retries = 6
-
本地端口可用范围
net.ipv4.ip_local_port_range=32768 60999
可以放大
-
连接超时
proxy_connect_timeout
-
接收连接最大个数(syn未完成握手)
net.ipv4.tcp_max_syn_backlog = 262144
可以适当放大
-
已完成握手
net.core.somaxconn:系统最大backlog队列长度
-
超出队列可以接收报文直接回RST
net.ipv4.tcp_abort_on_overflow
-
未被内核处理的报文队列长度
net.core.netdev_max_backlog
-
syn/ack重试次数
net.ipv4.tcp_synack_retries
-
处理syn攻击
net.ipv4.tcp_syncookies=1
当syn队列满后，新的syn不进入队列，计算出cookie返回客户端，客户端携带cookie重新连接，服务器验证cookie，通过则建立连接。回导致TCP可选功能失效，例如扩充窗口/时间戳等
-
操作系统最大句柄
fs.file-max: 操作系统可以使用最大句柄数
使用fs.file-nr可以查看当前已分配/正使用/上限
-
用户最大句柄数
/etc/security/limits.conf
root soft nofile 63535
root har nofile 65535
-
进程限制最大句柄数
worker_rlimit_nofile number
-
进程最大连接数
worker_connections number
-
Tcp Fast Open
当TCP再次连接时，通过携带cookie，减少一次syn/ack的rtt时间，达到快速建立TCP连接的目的
net.ipv4.tcp_fastopen 0|1|2|3
listen address [:port] [fastopen=number];
fastopen=number为了防止带数据的syn攻击，限制最大长度，指定TFO连接队列的最大长度
-
TCP缓冲区
net.ipv4.tcp_rmen = 4096 87380 6291456
net.ipv4.tcp_wmen = 4096 87380 6291456
net.ipv4.tcp_men = 1541646 2055528 3083292
net.ipv4.tcp_moderate_rcvbuf=1开启自动调节缓存模式
listen address [:port] [recvbuf=size] [sndbuf=size]
net.ipv4.tcp_adv_win_scale = 1
应用缓存 = buffer / (2^tcp_adv_win_scale)
接收窗口 = buffer - buffer/(2^tcp_adv_win_scale)
BDP = 带宽* RTT/2
buffer=BDP
-
Nagle算法
网络中只存在一个未被确认的小报文ACK
目的：避免一个连接上存在大量的小报文，提高网络利用率
吞吐量优先：启用Nagle tcp_nodelay off
低延时优先：禁用Nagle tcp_nodelay on
-
拥塞窗口
实际流量=拥塞窗口和接收窗口的最小值
-
慢启动
指数扩展拥塞窗口cwnd = cwnd*2
-
拥塞避免
窗口大于threshold线性增大
-
拥塞发生
发生丢包，
RTO超时，threshold = cwnd/2, cwnd=1
Fast Retransmit: cwnd=cwnd/2, threshold=cwnd
-
快速恢复
当Fast Retransmit出现时，cwnd调整为threshold+3*MSS
-
优化慢启动
增大初始cwnd=10
-
TCP keep-alive
开启keepalive可以探测到失去连接的socket，并即时关闭，节省系统资源
net.ipv4.tcp_keepalive_time = 7200
net.ipv4.tcp_keepalive_intvl = 75
net.ipv4.tcp_keepalive_probes = 9
-
timewait
net.ipv4.tcp_orphan_retries = 0
net.ipv4.tcp_fin_timeout = 60
net.ipv4.tcp_max_tw_buckets = 262144 最大timewait连接数，超出直接关闭连接
-
lingering_close延迟关闭
当接收缓冲依然接收到客户端的内容，服务器如果马上发送RST关闭连接，会导致客户端由于接收到RST而忽略http response
lingering_close off|on|always
reset_timedout_connection on|off; 当读写超时生效依法连接关闭，通过发送RST马上关闭连接，以释放资源
-
TLS/SLL优化握手
ssl_session_cache
-
TLS/SSL会话票证tickets
Nginx将会话session中的信息作为tickets加密发送给客户端，当客户端再次建立连接时带上tickets，Nignx验证复用session
优点可以减少对称加解密的次数，提高性能
缺点降低安全性，需要经常更换tickets密钥
ssl_seesion_tickets on|off
ssl_session_ticket_key file
-
使用HTTP长连接
keepalive_request number;
-
gzip压缩
提高网络传输效率
gzip on|off
-
使用http2
统计函数调用统计
google-perltool
pprof --text|pdf
goodle_perftools_profiles file
硬件
- 网卡：万兆网卡，例如10G/25G/40G
- 磁盘：固态硬盘，关注IOPS/BPS指标
- CPU：更快的主频，更大的缓存，更优的架构
- 内存：更快的访问速度
