2019年6月4日
爬虫 --- 08. 全站爬取(CrawlSpider), 分布式, 增量式爬虫
摘要： 一.全站爬取(CrawlSpider) 1.基本概念 2.项目示例 ①.爬取抽屉网多页数据对象 ②爬取阳光热线 多页及详情页数据,持久化存储 二.分布式 1.基本概念 2.实现流程 3.示例(阳光热线的爬取): 三.增量式爬虫 1.对url去重(爬取4567电影网数据) 2.对数据的去重(糗事百科) 阅读全文
posted @ 2019-06-04 19:19 TNTsc 阅读(1252) 评论(0) 推荐(0) 编辑