scrapy框架之Pipeline管道类
Item Pipeline简介
Item管道的主要责任是负责处理有蜘蛛从网页中抽取的Item，他的主要任务是清洗、验证和存储数据。
当页面被蜘蛛解析后，将被发送到Item管道，并经过几个特定的次序处理数据。
每个Item管道的组件都是有一个简单的方法组成的Python类。
他们获取了Item并执行他们的方法，同时他们还需要确定的是是否需要在Item管道中继续执行下一步或是直接丢弃掉不处理。
项目管道的执行过程
清理HTML数据
验证解析到的数据（检查Item是否包含必要的字段）
检查是否是重复数据（如果重复就删除）
将解析到的数据存储到数据库中
编写自己的Item Pipeline
每个项目管道组件是一个Python类，必须实现以下方法：
process_item(self, item, spider)
对于每个项目管道组件调用此方法。process_item() 必须返回一个带数据的dict，返回一个Item （或任何后代类）对象，返回一个Twisted Deferred或者raise DropItemexception。丢弃的项目不再由其他管道组件处理。
参数：
- item（Itemobject或dict） - 剪切的项目
- Spider（Spider对象） - 抓取物品的蜘蛛
另外，它们还可以实现以下方法：
# 当蜘蛛打开时调用此方法。 open_spider(self, spider) # 参数spider打开的蜘蛛 # 当蜘蛛关闭时调用此方法。 close_spider(self, spider) # 参数spider被关闭的蜘蛛 # 如果存在，则调用此类方法以从a创建流水线实例Crawler。它必须返回管道的新实例。Crawler对象提供对所有Scrapy核心组件（如设置和信号）的访问; 它是管道访问它们并将其功能挂钩到Scrapy中的一种方式。 from_crawler(cls, crawler) # 参数crawler（Crawlerobject） - 使用此管道的crawler
将抓取的items以json格式保存到文件中
从spider抓取到的items将被序列化为json格式，并且以每行一个item的形式被写入到items.jl文件中
import json class JsonWriterPipeline(object): def __init__(self): self.file = open('items.jl', 'wb') def process_item(self, item, spider): line = json.dumps(dict(item)) + "\n" self.file.write(line) return item
删除重复项
假设在spider中提取到的item有重复的id，那么我们就可以在process_item函数中进行过滤
from scrapy.exceptions import DropItem class DuplicatesPipeline(object): def __init__(self): self.ids_seen = set() def process_item(self, item, spider): if item['id'] in self.ids_seen: raise DropItem("Duplicate item found: %s" % item) else: self.ids_seen.add(item['id']) return item
激活ItemPipeline组件
在settings.py文件中，往ITEM_PIPELINES中添加项目管道的类名，就可以激活项目管道组件
ITEM_PIPELINES = { 'myproject.pipeline.PricePipeline': 300, 'myproject.pipeline.JsonWriterPipeline': 800, }
图像管道
items
定义过滤字段
import scrapy class ImgpilelineproItem(scrapy.Item): # define the fields for your item here like: img_src = scrapy.Field()
spider
只是用来获取图片的下载地址并提交至itme
import scrapy from imgPileLinePro.items import ImgpilelineproItem class ImgSpider(scrapy.Spider): name = 'img' # allowed_domains = ['www.xxx.com'] start_urls = ['http://pic.netbian.com/4kmeinv/'] url = 'http://pic.netbian.com/4kmeinv/index_%d.html' page = 2 def parse(self, response): li_list = response.xpath('//*[@id="main"]/div[3]/ul/li') for li in li_list: img_src = 'http://pic.netbian.com'+li.xpath('./a/img/@src').extract_first() item = ImgpilelineproItem() item['img_src'] = img_src yield item if self.page <= 2: # 爬取前两页 new_url = format(self.url%self.page) self.page += 1 yield scrapy.Request(url=new_url,callback=self.parse)
pipelines
from scrapy.pipelines.images import ImagesPipeline import scrapy # 用来下载图片的管道类 class ImgPileLine(ImagesPipeline): #接收item且将item中存储的img_src进行请求发送 def get_media_requests(self,item,info): yield scrapy.Request(url=item['img_src']) #指定数据存储的路径(文件夹【在配置文件中指定】+图片名称【该方法中返回】) def file_path(self,request,response=None,info=None): img_name = request.url.split('/')[-1] return img_name #就是将item传递给下一个即将被执行的管道类 def item_completed(self,result,item,info): return item
settings中的配置
# 指定文件的下载路径 IMAGES_STORE = './imgsLib' # 该文件会自动创建 # 启用管道 ITEM_PIPELINES = { 'imgPileLinePro.pipelines.ImgPileLine': 300, }
将item写入到mongodb
import pymongo class MongoPipeline(object): def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_db = mongo_db @classmethod def from_crawler(cls, crawler): return cls( mongo_uri=crawler.settings.get('MONGO_URI'), mongo_db=crawler.settings.get('MONGO_DATABASE', 'items') ) # 爬虫开始建立与mongodb的连接 def open_spider(self, spider): self.client = pymongo.MongoClient(self.mongo_uri) self.db = self.client[self.mongo_db] # 爬虫结束断开与mongodb的连接 def close_spider(self, spider): self.client.close() # 数据存储 def process_item(self, item, spider): # update 去重,以url_token为查找条件更新数据 self.db["user"].update({"url_token":item["url_token"]},{"$set":item},True) return item
MONGO_URI = "localhost" MONGO_DATABASE = "zhihu"
