2018年1月2日
【python3】如何建立爬虫代理ip池
摘要： 一、为什么需要建立爬虫代理ip池 在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制的，在某段时间内，当某个ip的访问量达到一定的阀值时，该ip会被拉黑、在一段时间内被禁止访问。 这种时候，可以通过降低爬虫的频率，或者更改ip来应对。后者就需要有一个可用的代理ip池，以供爬虫工作时切换。 二 阅读全文
posted @ 2018-01-02 02:12 TurboWay 阅读(14164) 评论(1) 推荐(6) 编辑