利用nginx来屏蔽网页爬虫

对于做国内站的我来说，我不希望国外蜘蛛来访问我的网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问。

方法一：修改nginx.conf，禁止网络爬虫的user_agent，返回403。

1、进入nginx的配置目录，例如cd /usr/local/nginx/conf

2、添加agent_deny.conf配置文件 vim agent_deny.conf

server层加入以下内容：

 
#禁止Scrapy等爬虫工具的抓取
 
if ($http_user_agent ~* "Scrapy|Sogou web spider|Baiduspider") {
 
return 403;
 
}
 
#禁止指定UA及UA为空的访问
 
if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$" )
 
{
 
return 403;
 
}
 
#禁止非GET|HEAD|POST方式的抓取
 
if ($request_method !~ ^(GET|HEAD|POST)$) {
 
return 403;
 
}

 

还有加一些针对特殊的user_agent的访问：

if ($http_user_agent ~ "Mozilla/4.0\ \(compatible;\ MSIE\ 6.0;\ Windows\ NT\ 5.1;\ SV1;\ .NET\ CLR\ 1.1.4322;\ .NET\ CLR\ 2.0.50727\)") {
 
return 404;
 
}

 

然后测试一下 设置是否成功，curl的-A 可以让我们随意指定自己这次访问所宣称的自己的浏览器信息

#curl -I -A "BaiduSpider" www.test.com   （模拟浏览器头信息）

HTTP/1.1 200 OK
 
Server: nginx
 
Date: Mon, 09 Feb 2015 03:37:20 GMT
 
Content-Type: text/html; charset=UTF-8 Connection: keep-alive
 
Vary: Accept-Encoding
 
X-Powered-By: PHP/5.5.19 Vary: Accept-Encoding, Cookie
 
Cache-Control: max-age=3, must-revalidate
 
WP-Super-Cache: Served supercache file from PHP

#curl -I -A "JikeSpider" www.test.com

HTTP/1.1 403 Forbidden
 
Server: nginx Date: Mon, 09 Feb 2015 03:37:44 GMT
 
Content-Type: text/html
 
Content-Length: 162 Connection: keep-alive

到这里，nginx通过判断User-Agent屏蔽蜘蛛访问网站就已经完成，可以根据实际情况对agent_deny.conf中的蜘蛛进行增加、删除或者修改。

 

检测代理IP

#检测代理IP是否设置

if ($proxy_add_x_forwarded_for != $remote_addr){
return 444;
}

 

nginx.conf添加限制并发控制

http {
#....

#漏桶算法
#客户端IP限制并发连接数
limit_conn_zone $binary_remote_addr zone=conip:10m;
#客户端IP限制请求频率，每秒10次
limit_req_zone $binary_remote_addr zone=reqip:10m rate=10r/s;
location / {
limit_conn conip 2;
limit_req zone=reqip burst=20 nodelay;
#        limit_rate 512k;# 限制客户端下载速率
#        ...
#        #allow 192.168.1.0/24; #仅允许局域网IP段访问
#        #deny all; # 拒绝所有IP
#        proxy_set_header Host $host;
#        proxy_set_header X-Real-IP $remote_addr;
#        proxy_set_header REMOTE-HOST $remote_addr;
#        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }

#....
}