摘要: ProxyHandler处理器(代理设置) 很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问次数多的不像正常人,它会禁止这个IP访问。我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP进行爬取。通过 设置使用代理服务器。 例:使用自定 阅读全文
posted @ 2019-07-13 11:05 Atomyzd 阅读(81) 评论(0) 推荐(0) 编辑