2018年12月20日
爬虫(四)之分布式爬虫
摘要： 01-基于Redis的分布式爬虫（基于RedisCrawlSpider类） 修改配置文件 将起始url 放到 调度器队列中 查看爬取结果 02-UA池 03-代理池 04-selenium在scrapy中的应用 ·需求：爬取的是基于文字的新闻数据（国内，国际，军事，航空） # -*- coding: 阅读全文
posted @ 2018-12-20 09:49 huangyanpeng 阅读(501) 评论(0) 推荐(0) 编辑