2015年9月23日
服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓
摘要： 我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃... 阅读全文
posted @ 2015-09-23 11:23 SunsCheung 阅读(462) 评论(0) 推荐(0) 编辑