摘要: CrawlSpider CrawlSpider类 CrawlSpider类常用于爬取一般的网站,其定义了一些规则(rule)来提供跟进链接的功能,使用非常方便。处理从Spider继承过来的属性外,还提供了一个新的属性ruels,该属性是一个过多个Rule对象的元组(list),每个Rule都对爬取网 阅读全文
posted @ 2018-07-01 21:53 doitjust 阅读(139) 评论(0) 推荐(0) 编辑