scrapy各管道存储模板

一、csv文件存储

      

class CsvPipeline():
    def open_spider(self,spider):
        self.file=open('filename.csv','wb')
        self.csv_exporter=CsvItemExporter(self.file)
        self.csv_exporter.start_exporting()


    def process_item(self,item):
        self.csv_exporter.export_item(item)     
        #返回item,后面的pipeline可以对这个item进行处理，否则不处理
        return item
    
    def close_spider(self,spider):
        self.file.close()
        self.csv_exporter.finish_exporting

       

二、redis数据库