分布式爬虫

分布式爬虫的原理


scrapy分布式爬取的实现

搭建redis服务器

部署代理池和cookie池

配置scrapy-redis





Bloom Filter(判断一个元素是否存在集合中)


scrapy去重


posted @ 2018-12-26 14:29  IndustriousHe  阅读(288)  评论(0)  编辑  收藏  举报