摘要：最近爬了amazon,发现以前写的爬虫比较"单薄",爬爬静态站或者ajax传参的网站还可以用,针对比较机智的服务,如amazon网站,连续访问100多次后爬虫就会经常失败了,查找了下失败的原因,发现amazon会检测Ip一旦发现请求次数过多,就会跳转到一个检测是否程序在操作的页面,就是输入验证码的网... 阅读全文