2014年9月4日
crawler_爬虫_反爬虫策略
摘要： 关于反爬虫和恶意攻击的一些策略和思路有时网站经常受到恶意spider攻击，疯狂抓取网站内容，对网站性能有较大影响。下面我说说一些反恶意spider和spam的策略和思路。1. 通过日志分析来识别恶意爬虫/攻击首先分析access log，类聚统计出访问量前50 IPless guang.com_ac... 阅读全文
posted @ 2014-09-04 13:35 cphmvp 阅读(819) 评论(0) 推荐(0) 编辑
爬虫在线测试小工具： http://tool.haoshuju.cn/