2019年8月5日
爬虫项目代理操作和线程池爬取
摘要： 代理操作 代理操作的目的 一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理IP，每隔一段时间换一个代理IP，就算IP被禁止，依然可以换个IP继续爬取。 什么是代理 代理服务 阅读全文
posted @ 2019-08-05 21:48 四块钱 阅读(391) 评论(0) 推荐(0) 编辑
ヾ(≧O≦)〃嗷~