2018年6月12日
Scrapy爬虫框架---CrawlSpider类
摘要： （1）、简介 在糗事百科爬虫中我们的爬虫是继承scrapy.Spider类的，这也是基本的scrapy框架爬虫，在这个爬虫中我们自己在解析完整个页面后再获取下一页的url,然后重新发送了一个请求，而使用CrawlsSpider类可以帮助我们对url提出条件，只要满足这个条件，都进行爬取，CrawlS 阅读全文
posted @ 2018-06-12 14:21 疾风_lu 阅读(1343) 评论(1) 推荐(0) 编辑