2020年6月20日
使用scrapy实现去重，使用Redis实现增量爬取
摘要： 面试场景： 要求对正在爬取的内容与mysql数据库中的数据进行比较去重 解决方式： 通过Redis来作为中间件，通过url来确保爬过的数据不会再爬，做到增量爬取。 Redis数据库其实就是一个中间件，因为爬虫爬取的数据并不能直接拿去和MySQL中的数据进行比较。那我们就需要将MySQL数据库现有的数 阅读全文
posted @ 2020-06-20 18:39 李白斗酒诗百篇 阅读(251) 评论(0) 推荐(0) 编辑