2020年9月20日
Scrapy ip代理池
摘要： 一、概述 在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制，即在某一时间段内，当某个ip的访问次数达到一定的阀值时，该ip就会被拉黑、在一段时间内禁止访问。 应对的方法有两种： 1. 降低爬虫的爬取频率，避免IP被限制访问，缺点显而易见：会大大降低爬取的效率。 2. 搭建一个IP代理池，使 阅读全文
posted @ 2020-09-20 15:00 肖祥 阅读(2178) 评论(1) 推荐(0) 编辑