2016年5月19日
反爬虫四个基本策略
摘要： 【 转 】http://www.cnblogs.com/FengYan/archive/2012/07/31/2614335.html 由于要准备测试数据，不得不大量爬取某个网站的内容。为了防止被封，特意将爬虫设计为单线程同步的爬虫。结果在爬了大约3万个页面的时候，对方发回Access Denied 阅读全文
posted @ 2016-05-19 15:45 heart.. 阅读(6796) 评论(0) 推荐(0) 编辑