scrapy中pipellines的深度使用

 

pipeLines文件中的open_spider函数和close_spider函数都只会执行一次。

（open_spider函数：爬虫开启时只执行一次；close_spider函数：爬虫结束时执行一次）

import json#用于文件的写入
class YanguangPipeline(object):
    #
    def open_spider(self,spider):
        #爬虫开启时只执行一次
        #爬虫开启时，找到文件保存位置，并打开
         self.file=open(spider.settings.get("SAVE_FILE","./temp.json"),"w")

    def close_spider(self,spider):
        #爬虫结束时执行一次
        #爬虫结束后将文件关闭，这种方式，若中间报错会使数据无法存储。
        self.file.close()

    def process_item(self, item, spider):
        #将爬取数据写入文件
         line=json.dumps(dict(item))+"\n"
         self.file.write(line)