4 Nginx 企业级优化
4.1 Nginx 静态资源压缩实战
经过上述内容的优化,我们再次思考一个问题,假如在满足上述优化的前提下,我们传送一个1M的数据和一个10M的数据那个效率高?,答案显而易见,传输内容小,速度就会快。那么问题又来了,同样的内容,如果把大小降下来,我们脑袋里面要蹦出一个词就是"压缩",接下来,我们来学习Nginx的静态资源压缩模块。
在Nginx的配置文件中可以通过配置gzip来对静态资源进行压缩,相关的指令可以配置在http块、server块和location块中,Nginx可以通过
ngx_http_gzip_module模块
ngx_http_gzip_static_module模块
ngx_http_gunzip_module模块
对这些指令进行解析和处理。
接下来我们从以下内容进行学习
(1)Gzip各模块支持的配置指令
(2)Gzip压缩功能的配置
(3)Gzip和sendfile的冲突解决
(4)浏览器不支持Gzip的解决方案
4.1.1 Gzip模块配置指令
接下来所学习的指令都来自ngx_http_gzip_module模块,该模块会在nginx安装的时候内置到nginx的安装环境中,也就是说我们可以直接使用这些指令。
(1)gzip指令
该指令用于开启或者关闭gzip功能
语法 | gzip on|off; |
---|---|
默认值 | gzip off; |
位置 | http、server、location... |
注意只有该指令为打开状态,下面的指令才有效果
http{
gzip on;
}
(2)gzip_types指令
该指令可以根据响应页的MIME类型选择性地开启Gzip压缩功能
语法 | gzip_types mime-type ...; |
---|---|
默认值 | gzip_types text/html; |
位置 | http、server、location |
所选择的值可以从mime.types文件中进行查找,也可以使用"*"代表所有。
http{
gzip_types application/javascript;
}
原始图片:
压缩后图片:
注意:在实际开发生产环境中不建议使用*来压缩所以,部分的视频或图片是已经压缩过得,再次压缩并不能有非常大的改变,反而会浪费服务器性能资源
(3)gzip_comp_level指令
该指令用于设置Gzip压缩程度,级别从1-9,1表示要是程度最低,要是效率最高,9刚好相反,压缩程度最高,但是效率最低最费时间。
语法 | gzip_comp_level level; |
---|---|
默认值 | gzip_comp_level 1; |
位置 | http、server、location |
http{
gzip_comp_level 6;
}
(4)gzip_vary指令
该指令用于设置使用Gzip进行压缩发送是否携带“Vary:Accept-Encoding”头域的响应头部。主要是告诉接收方,所发送的数据经过了Gzip压缩处理
语法 | gzip_vary on|off; |
---|---|
默认值 | gzip_vary off; |
位置 | http、server、location |
开启前:
开启后:
(5)gzip_buffers指令
该指令用于处理请求压缩的缓冲区数量和大小。
语法 | gzip_buffers number size; |
---|---|
默认值 | gzip_buffers 32 4k|16 8k; |
位置 | http、server、location |
其中number:指定Nginx服务器向系统申请缓存空间个数,size指的是每个缓存空间的大小。主要实现的是申请number个每个大小为size的内存空间。这个值的设定一般会和服务器的操作系统有关,所以建议此项不设置,使用默认值即可。
gzip_buffers 4 16K; #缓存空间大小
(6)gzip_disable指令
针对不同种类客户端发起的请求,可以选择性地开启和关闭Gzip功能。
语法 | gzip_disable regex ...; |
---|---|
默认值 | — |
位置 | http、server、location |
regex:根据客户端的浏览器标志(user-agent)来设置,支持使用正则表达式。指定的浏览器标志不使用Gzip.该指令一般是用来排除一些明显不支持Gzip的浏览器。
gzip_disable "MSIE [1-6]\.";
(7)gzip_http_version指令
针对不同的HTTP协议版本,可以选择性地开启和关闭Gzip功能。
语法 | gzip_http_version 1.0|1.1; |
---|---|
默认值 | gzip_http_version 1.1; |
位置 | http、server、location |
该指令是指定使用Gzip的HTTP最低版本,该指令一般采用默认值即可。
(8)gzip_min_length指令
该指令针对传输数据的大小,可以选择性地开启和关闭Gzip功能
语法 | gzip_min_length length; |
---|---|
默认值 | gzip_min_length 20; |
位置 | http、server、location |
nignx计量大小的单位:bytes[字节] / kb[千字节] / M[兆]
例如: 1024 / 10k|K / 10m|M
Gzip压缩功能对大数据的压缩效果明显,但是如果要压缩的数据比较小的化,可能出现越压缩数据量越大的情况,因此我们需要根据响应内容的大小来决定是否使用Gzip功能,响应页面的大小可以通过头信息中的Content-Length
来获取。但是如何使用了Chunk编码动态压缩,该指令将被忽略。建议设置为1K或以上。
(9)gzip_proxied指令
该指令设置是否对服务端返回的结果进行Gzip压缩。
语法 | gzip_proxied off|expired|no-cache| no-store|private|no_last_modified|no_etag|auth|any; |
---|---|
默认值 | gzip_proxied off; |
位置 | http、server、location |
-
off - 关闭Nginx服务器对后台服务器返回结果的Gzip压缩
-
expired - 启用压缩,如果header头中包含 "Expires" 头信息
-
no-cache - 启用压缩,如果header头中包含 "Cache-Control:no-cache" 头信息
-
no-store - 启用压缩,如果header头中包含 "Cache-Control:no-store" 头信息
-
private - 启用压缩,如果header头中包含 "Cache-Control:private" 头信息
-
no_last_modified - 启用压缩,如果header头中不包含 "Last-Modified" 头信息
-
no_etag - 启用压缩 ,如果header头中不包含 "ETag" 头信息
-
auth - 启用压缩 , 如果header头中包含 "Authorization" 头信息
-
any - 无条件启用压缩
4.1.2 Gzip压缩功能的实例配置
gzip on; #开启gzip功能
gzip_types *; #压缩源文件类型,根据具体的访问资源类型设定
gzip_comp_level 6; #gzip压缩级别
gzip_min_length 1024; #进行压缩响应页面的最小长度,content-length
gzip_buffers 4 16K; #缓存空间大小
gzip_http_version 1.1; #指定压缩响应所需要的最低HTTP请求版本
gzip_vary on; #往头信息中添加压缩标识
gzip_disable "MSIE [1-6]\."; #对IE6以下的版本都不进行压缩
gzip_proxied off; #nginx作为反向代理压缩服务端返回数据的条件
这些配置在很多地方可能都会用到,所以我们可以将这些内容抽取到一个配置文件中,然后通过include指令把配置文件再次加载到nginx.conf配置文件中,方法使用。
nginx_gzip.conf
gzip on;
gzip_types *;
gzip_comp_level 6;
gzip_min_length 1024;
gzip_buffers 4 16K;
gzip_http_version 1.1;
gzip_vary on;
gzip_disable "MSIE [1-6]\.";
gzip_proxied off;
nginx.conf
http{
include nginx_gzip.conf;
}
4.1.3 Gzip和sendfile共存问题
面在讲解sendfile的时候,提到过,开启sendfile以后,在读取磁盘上的静态资源文件的时候,可以减少拷贝的次数,可以不经过用户进程将静态文件通过网络设备发送出去,但是Gzip要想对资源压缩,是需要经过用户进程进行操作的。所以如何解决两个设置的共存问题。
可以使用ngx_http_gzip_static_module模块的gzip_static指令来解决。
(1)gzip_static指令
gzip_static: 检查与访问资源同名的.gz文件时,response中以gzip相关的header返回.gz文件的内容。
语法 | gzip_static on | off | always; |
---|---|
默认值 | gzip_static off; |
位置 | http、server、location |
添加上述命令后,会报一个错误,unknown directive "gzip_static"
主要的原因是Nginx默认是没有添加ngx_http_gzip_static_module模块。如何来添加?
(2)添加模块到Nginx的实现步骤
1)查询当前Nginx的配置参数
nginx -V
2)将nginx安装目录下sbin目录中的nginx二进制文件进行更名
cd /usr/local/nginx/sbin
mv nginx nginxold
3) 进入Nginx的安装目录
cd /root/nginx-1.20.1/
4)执行make clean清空之前编译的内容
make clean
5)使用configure来配置参数
./configure --with-http_gzip_static_module
6)使用make命令进行编译
make
7)将objs目录下的nginx二进制执行文件移动到nginx安装目录下的sbin目录中
mv objs/nginx /usr/local/nginx/sbin
8)执行更新命令
make upgrade
(3)gzip_static测试使用
1)直接访问http://192.168.5.3/app.js
2)使用gzip命令进行压缩
cd /usr/local/nginx/html
gzip app.js
3)再次访问http://192.168.5.3/app.js
4.2 静态资源的缓存处理
4.2.1 缓存介绍
什么是缓存
缓存(cache),原始意义是指访问速度比一般随机存取存储器(RAM)快的一种高速存储器,通常它不像系统主存那样使用DRAM技术,而使用昂贵但较快速的SRAM技术。缓存的设置是所有现代计算机系统发挥高性能的重要因素之一。
什么是web缓存
Web缓存是指一个Web资源(如html页面,图片,js,数据等)存在于Web服务器和客户端(浏览器)之间的副本。缓存会根据进来的请求保存输出内容的副本;当下一个请求来到的时候,如果是相同的URL,缓存会根据缓存机制决定是直接使用副本响应访问请求,还是向源服务器再次发送请求。比较常见的就是浏览器会缓存访问过网站的网页,当再次访问这个URL地址的时候,如果网页没有更新,就不会再次下载网页,而是直接使用本地缓存的网页。只有当网站明确标识资源已经更新,浏览器才会再次下载网页
web缓存的种类
客户端缓存
浏览器缓存
服务端缓存
Nginx / Redis / Memcached等
浏览器缓存
是为了节约网络的资源加速浏览,浏览器在用户磁盘上对最近请求过的文档进行存储,当访问者再次请求这个页面时,浏览器就可以从本地磁盘显示文档,这样就可以加速页面的阅览.
为什么要用浏览器缓存
成本最低的一种缓存实现
减少网络带宽消耗
降低服务器压力
减少网络延迟,加快页面打开速度
4.2.2 浏览器缓存的执行流程
HTTP协议中和页面缓存相关的字段,我们先来认识下:
header | 说明 |
---|---|
Expires | 缓存过期的日期和时间 |
Cache-Control | 设置和缓存相关的配置信息 |
Last-Modified | 请求资源最后修改时间 |
ETag | 请求变量的实体标签的当前值,比如文件的MD5值 |
(1)用户首次通过浏览器发送请求到服务端获取数据,客户端是没有对应的缓存,所以需要发送request请求来获取数据;
(2)服务端接收到请求后,获取服务端的数据及服务端缓存的允许后,返回200的成功状态码并且在响应头上附上对应资源以及缓存信息;
(3)当用户再次访问相同资源的时候,客户端会在浏览器的缓存目录中查找是否存在响应的缓存文件
(4)如果没有找到对应的缓存文件,则走(2)步
(5)如果有缓存文件,接下来对缓存文件是否过期进行判断,过期的判断标准是(Expires),
(6)如果没有过期,则直接从本地缓存中返回数据进行展示
(7)如果Expires过期,接下来需要判断缓存文件是否发生过变化
(8)判断的标准有两个,一个是ETag(Entity Tag),一个是Last-Modified
(9)判断结果是未发生变化,则服务端返回304,直接从缓存文件中获取数据
(10)如果判断是发生了变化,重新从服务端获取数据,并根据缓存协商(服务端所设置的是否需要进行缓存数据的设置)来进行数据缓存。
4.2.3 浏览器缓存相关指令
Nginx需要进行缓存相关设置,就需要用到如下的指令
(1)expires指令
expires:该指令用来控制页面缓存的作用。可以通过该指令控制HTTP应答中的“Expires"和”Cache-Control"
语法 | expires [modified] time expires epoch|max|off; |
---|---|
默认值 | expires off; |
位置 | http、server、location |
-
time:可以整数也可以是负数,指定过期时间,如果是负数,Cache-Control则为no-cache,如果为整数或0,则Cache-Control的值为max-age=time;
-
epoch:指定Expires的值为'1 January,1970,00:00:01 GMT'(1970-01-01 00:00:00),Cache-Control的值no-cache
-
max:指定Expires的值为'31 December2037 23:59:59GMT' (2037-12-31 23:59:59) ,Cache-Control的值为10年
-
off:默认不缓存。
(2)add_header指令
add_header指令是用来添加指定的响应头和响应值。
语法 | add_header name value [always]; |
---|---|
默认值 | — |
位置 | http、server、location... |
Cache-Control作为响应头信息,可以设置如下值:
缓存响应指令:
Cache-control: must-revalidate
Cache-control: no-cache
Cache-control: no-store
Cache-control: no-transform
Cache-control: public
Cache-control: private
Cache-control: proxy-revalidate
Cache-Control: max-age=<seconds>
Cache-control: s-maxage=<seconds>
指令 | 说明 |
---|---|
must-revalidate | 可缓存但必须再向源服务器进行确认 |
no-cache | 缓存前必须确认其有效性 |
no-store | 不缓存请求或响应的任何内容 |
no-transform | 代理不可更改媒体类型 |
public | 可向任意方提供响应的缓存 |
private | 仅向特定用户返回响应 |
proxy-revalidate | 要求中间缓存服务器对缓存的响应有效性再进行确认 |
max-age=<秒> | 响应最大Age值 |
s-maxage=<秒> | 公共缓存服务器响应的最大Age值 |
max-age=[秒]:
4.3 Nginx的跨域问题解决
4.3.1 同源策略
浏览器的同源策略:是一种约定,是浏览器最核心也是最基本的安全功能,如果浏览器少了同源策略,则浏览器的正常功能可能都会受到影响。
同源: 协议、域名(IP)、端口相同即为同源
当前页面URL | 被请求页面URL | 是否跨域 | 原因 |
---|---|---|---|
http://www.test.com/ | http://www.test.com/index.html | 否 | 同源(协议、域名、端口均都相同) |
http://www.test.com/ | https://www.test.com/ | 跨域 | 协议不同(http/https) |
http://www.test.com/ | http://www.baidu.com | 跨域 | 主域名不同(test/baidu) |
http://www.test.com/ | http://blog.test.com | 跨域 | 子域名不同(www/blog) |
http://www.test.com:8080/ | http://www.test.com:7001/ | 跨域 | 端口号不同(8080/7001) |
4.3.2 解决方案
使用a dd_header指令,该指令可以用来添加一些头信息
语法 | add_header name value... |
---|---|
默认值 | — |
位置 | http、server、location |
此处用来解决跨域问题,需要添加两个头信息,一个是Access-Control-Allow-Origin
,Access-Control-Allow-Methods
Access-Control-Allow-Origin: 直译过来是允许跨域访问的源地址信息,可以配置多个(多个用逗号分隔),也可以使用*
代表所有源
Access-Control-Allow-Methods:直译过来是允许跨域访问的请求方式,值可以为 GET POST PUT DELETE...,可以全部设置,也可以根据需要设置,多个用逗号分隔
具体配置方式
location /getUser{
add_header Access-Control-Allow-Origin *;
add_header Access-Control-Allow-Methods GET,POST,PUT,DELETE;
default_type application/json;
return 200 '{"id":1,"name":"TOM","age":18}';
}
4.4 静态资源防盗链
4.4.1 什么是资源盗链
资源盗链指的是此内容不在自己服务器上,而是通过技术手段,绕过别人的限制将别人的内容放到自己页面上最终展示给用户。以此来盗取大网站的空间和流量。简而言之就是用别人的东西成就自己的网站。
效果演示
京东:https://img14.360buyimg.com/n7/jfs/t1/101062/37/2153/254169/5dcbd410E6d10ba22/4ddbd212be225fcd.jpg
<img src="https://img14.360buyimg.com/n7/jfs/t1/101062/37/2153/254169/5dcbd410E6d10ba22/4ddbd212be225fcd.jpg"/>
<img src="https://pics7.baidu.com/feed/cf1b9d16fdfaaf516f7e2011a7cda1e8f11f7a1a.jpeg?token=551979a23a0995e5e5279b8fa1a48b34&s=BD385394D2E963072FD48543030030BB"/>
我们自己准备一个页面,在页面上引入这两个图片查看效果
从上面的效果,可以看出来,右面的图片地址添加了防止盗链的功能,京东这边我们可以直接使用其图片。
4.4.2 Nginx防盗链的实现原理
了解防盗链的原理之前,我们得先学习一个HTTP的头信息Referer,当浏览器向web服务器发送请求的时候,一般都会带上Referer,来告诉浏览器该网页是从哪个页面链接过来的。
后台服务器可以根据获取到的这个Referer信息来判断是否为自己信任的网站地址,如果是则放行继续访问,如果不是则可以返回403(服务端拒绝访问)的状态信息。
在本地模拟上述的服务器效果:
Nginx防盗链的具体实现:
valid_referers:nginx会通就过查看referer自动和valid_referers后面的内容进行匹配,如果匹配到了就将$invalid_referer变量置0,如果没有匹配到,则将$invalid_referer变量置为1,匹配的过程中不区分大小写。
语法 | valid_referers none|blocked|server_names|string... |
---|---|
默认值 | — |
位置 | server、location |
-
none: 如果Header中的Referer为空,允许访问
-
blocked:在Header中的Referer不为空,但是该值被防火墙或代理进行伪装过,如不带"http://" 、"https://"等协议头的资源允许访问。
-
server_names:指定具体的域名或者IP
-
string: 可以支持正则表达式和*的字符串。如果是正则表达式,需要以
~
开头表示,例如
location ~*\.(png|jpg|gif){
valid_referers none blocked www.baidu.com;
if ($invalid_referer){
return 403;
}
root /usr/local/nginx/html;
}
遇到的问题:图片有很多,该如何批量进行防盗链?
4.4.3 针对目录进行防盗链
配置如下:
location /images {
valid_referers none blocked www.baidu.com;
if ($invalid_referer){
return 403;
}
root /usr/local/nginx/html;
}