2015年9月23日
爬虫学习-使用CrawlSpider
摘要： 使用scrapy中的CrawlSpider类来进行爬行一直用的是BaseSpider，回调函数的方式，有一个问题是title，date在一个页面，author，detail在另一个页面时，怎么把这些字段统一在一个item条目中，尝试了多次，用全局变量等，未果。尝试使用更高级的CrawlSpider操... 阅读全文
posted @ 2015-09-23 21:30 步吉阁居士 阅读(511) 评论(0) 推荐(0) 编辑