2019年5月19日
scrapy-redis 分布式哔哩哔哩网站用户爬虫
摘要： scrapy里面，对每次请求的url都有一个指纹，这个指纹就是判断url是否被请求过的。默认是开启指纹即一个URL请求一次。如果我们使用分布式在多台机上面爬取数据，为了让爬虫的数据不重复，我们也需要一个指纹。但是scrapy默认的指纹是保持到本地的。所有我们可以使用redis来保持指纹，并且用red 阅读全文
posted @ 2019-05-19 16:49 一个大柚子 阅读(570) 评论(0) 推荐(0) 编辑