防盗链资料整理
背景
防盗链，其本质就是用户对于自己的资源设置的访问控制，控制“谁”可以在“什么时间”访问到“什么资源”。不做防盗链，用户的许多资源都为其他人做了嫁衣，也会给自己的服务器增加不必要的访问压力和带宽消耗。
不同的用户，由于网站的性质不同（游戏/新闻/游戏），需求也是不尽相同的，所以需要在我们的portal系统中添加访问控制的功能，满足用户的需要。
业务功能
防盗链生效配置
表示在什么情况下需要进行防盗链逻辑。比如我们需要对 xxx.com/image/ 下面的URL进行防盗链处理，而对 xxx.com/js/ 则不需要防盗链。
是否进行防盗链，一般通过2种方式进行匹配：
- URL匹配
- 类型匹配
URL匹配是指，符合某些前缀或者正则表达式的URL进行防盗链，见上例； 类型匹配，就是对某些特定类型的资源进行防盗链，例如jpg、mp3。
防盗链规则配置
IP黑白名单
只允许或者阻止某些IP访问资源，一般都是IP黑名单的形式。
用户可以在界面中输入单个IP、IP区间、或者IP通配符，例如：
1.2.3.4 192.168.199.1 ~ 192.168.199.100 192.168.1.*
个人理解是我们通过分析以往的访问日志，得出某些IP的访问可能有异常，之后将其加入黑名单。IP黑名单的限制范围既可以是全局范围（我们CDN服务提供商配置），也可以是域名范围（CDN服务使用方配置）。
Referer黑白名单
最常用的防盗链手段，通过对HTTP请求中的referer header进行判断，以决定用户是否可以访问该资源。一般都是referer白名单的形式。
需要支持单个域名以及泛域名的形式，例如：
ent.cankaoxiaoxi.com *.cankaoxiaoxi.com
- 禁止空Referer
- 禁止空referer，即不允许用户直接访问该资源，因为直接在浏览器的地址栏中输入一个资源的URL地址，请求是不会包含Referer字段的。
个人认为使用场景并不多。
UA白名单
HTTP请求header中的User Agent字段，是一段浏览器或者设备标识自己的字符串。对于网站主来说，有时需要让一些资源只能在某些浏览器或者设备上才能访问。
UA 防盗链通常用在手机 APP 或者一些可自定义 User Agent 的应用，比如播放器。设置UA白名单，也和其他情况类似，支持字符串通配符。
- Token加密串
- Token加密串，是通过资源URL、密钥、以及过期时间生成的一个加密字符串，然后外链必须要带上这个 Token 才能在规定的时间内访问到该资源。
token一般会在请求参数或者cookie中，没有带 token 的外链，或者超过了有效期的token链接都会返回403，达到防盗链的目的。
Token 加密串这种方案，一般用于文件下载的场景比较多，静态图片的场景则较少。
- 盗链提示
- 当盗链发生时，一般会在页面显示出一个固定的文本或者图片，用于提示用户该资源为盗链。
在系统中，用户需要有界面能够上传自定义的盗链提示图，甚至是不同的HTTP返回码可以设置不同的盗链提示图。
相关技术
nginx conf
nginx本身已经提供了丰富的功能，通过获取HTTP请求中的各个字段，判断请求是否合法，可以实现以上提到的URL匹配、类型匹配、IP黑白名单等功能。
比如，可以获取client ip，来决定是否请求upstream，以此达到IP黑白名单的目的，样例：
## If IP is 1.2.3.4 send backend to apachereadwrite ## if ( $remote_addr ~* 1.2.3.4 ) { proxy_pass http://cdn_backend; }
也可以判断server_name，来达到域名黑白名单的效果，样例：
# conf/nginx.conf server { listen 80; include /home/uaq/local/static_dynamic_proxy/nginx/conf/static_server_names.conf; #charset koi8-r; #access_log logs/host.access.log main; location ~ { proxy_pass http://static_accelerate; } # redirect server error pages to the static page /50x.html # error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } }
# conf/static_server_names.conf;
server_name
a.com
b.com
;
nginx module
ngx_http_referer_module，可以专门用于判断referer是否合法、或者是否是空的referer，样例：
location ~* \.(gif|jpg|png|bmp)$ { valid_referers none blocked *.mmtrix.com server_names ~\.google\. ~\.baidu\.; if ($invalid_referer) { return 403; } }
ngx_http_secure_link_module，用于检测访问资源者的授权，以及资源的有效时间，可以用于Token加密串的防盗链，样例：
server { listen 80; server_name cdn.aaa.com; access_log /data/logs/nginx/access.log main; index index.html index.php index.html; location / { secure_link $arg_st,$arg_e; secure_link_md5 some_private_key$uri$arg_e; if ($secure_link = "") { return 403; } if ($secure_link = "0") { return 403; } } }
nginx + lua
虽然nginx的功能已经比较强大，但是不够灵活，而且在conf中有过多的配置，也会占用较多内存、影响nginx处理请求的时间。我们既然作为CDN服务提供商，除了全局的配置，还需要为每个用户的每个域名进行自定义的配置，因为将所有条件写入nginx conf是不现实的。另外，lua还提供更多强大功能，例如请求时访问redis、memcached，和其他实例共享状态等等功能。因此，nginx + lua可能是一个不错的解决方案。
网上的cookie token加密串的样例：
-- Some variable declarations. local cookie = ngx.var.cookie_MyToken local hmac = "" local timestamp = "" -- Check that the cookie exists. if cookie ~= nil and cookie:find(":") ~= nil then -- If there's a cookie, split off the HMAC signature -- and timestamp. local divider = cookie:find(":") hmac = cookie:sub(divider+1) timestamp = cookie:sub(0, divider-1) -- Verify that the signature is valid. if hmac_sha1("some very secret string", timestamp) == hmac and tonumber(timestamp) >= os.time() then return end end -- Internally rewrite the URL so that we serve -- /auth/ if there's no valid token. ngx.exec("/auth/")
网上查找到的各种与nginx+lua相关的方案，基本上都还是单机版本的解决方案。考虑到我们分布式环境，以及业务复杂的情况，还需要用到分布式存储、缓存、任务分发等技术。
