摘要: Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 这就是整个Scrapy的架构图了; 各部件职能: Scrapy Engine: 这是引擎,负责Spiders、ItemPipeline、Downloader、Sch 阅读全文
posted @ 2016-12-08 22:20 coskaka 阅读(271) 评论(0) 推荐(0) 编辑