总访问量： AmazingCounters.com
2016年1月25日
爬虫防掉线
摘要： 最近爬了amazon,发现以前写的爬虫比较"单薄",爬爬静态站或者ajax传参的网站还可以用,针对比较机智的服务,如amazon网站,连续访问100多次后爬虫就会经常失败了,查找了下失败的原因,发现amazon会检测Ip一旦发现请求次数过多,就会跳转到一个检测是否程序在操作的页面,就是输入验证码的网... 阅读全文
posted @ 2016-01-25 15:21 三秋 阅读(520) 评论(0) 推荐(0) 编辑
总访问量： AmazingCounters.com