摘要：
出处：http://www.cnblogs.com/wupeiqi/ 一：去除重复URL scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配置有： 下面自定义ULR去重操作：（将原来在spider中的操作分解开来） duplication.py s 阅读全文
摘要：
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 各个组件： Scrapy引擎： 是框架核心，用来处理调度整个系统的数据流处理 Sche 阅读全文