Scrapy笔记：持久化，Feed exports的使用

首先要明确的是，其实所有的FeedExporter都是类，里面封装了一般进行io操作的方法。因此，要怎么输出呢？其实从技术实现来说，在生成item的每一步调用其进行储存都是可以的，只不过为了更加符合scrapy的架构，一般都是在Pipeline中使用FeedExporter的。

每一个Exporter的使用都是类似的：

在settings.py中写入相应的配置，

在pipeline中调用exporter：

　　exporter.start_exporter()

　　exporter.export_item()

　　exporter.finish_exporter()

其它工作都已经由scrapy封装好了，所以就不需要再进行额外设定了。

由于item的输出一般是连续输出的，因此可以将export开始和结束的方法放到spider_opened和spider_closed中启动。

以将item输出到json文件为例，下面是相关的配置和写法：

在settings.py中的配置：

FEED_FORMAT = 'json' # 输出格式
FEED_EXPORTERS_BASE = { 
    'json': 'scrapy.exporters.JsonItemExporter',
    'jsonlines': 'scrapy.exporters.JsonLinesItemExporter',
}

在pipeline中的设定：

class MyCustomPipeline(object):
    def __init__(self):
        self.files = {}
    
    @classmethod
    def from_crawler(cls, crawler): # 生成pipeline实例的方法
         pipeline = cls()
         crawler.signals.connect(pipeline.spider_opened, signals.spider_opened) # 将spider_opened连接到信号上，当spider打开时执行spider_opened方法
         crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
         return pipeline
    def spider_opened(self, spider): #
        file = open('%s_ip.json' % spider.name, 'w+b') # 生成文件描述符
        self.files[spider] = file # 保存描述符的引用
        self.exporter = JsonLinesItemExporter(file) # 实例化一个Exporter类
        self.exporter.start_exporting() # 开始输出
 
    def spider_closed(self,spider):
        self.exporter.finish_exporting() # 结束输出
        #print('*'*50)
        file = self.files.pop(spider)
        #print(file.name)
        file.close()
        
    def process_item(self, item, spider):
        self.exporter.export_item(item) # 正式输出
        return item

 

 

那么怎样输出到mysql数据库中呢？

　　实际上scrapy自带的FeedExporter中并没有输出到关系型数据库的输出器，因此只能在pipelines中自己定义函数进行处理。由于scrapy是基于twisted异步框架开发的，使用传统的MySQLdb等mysql连接库会出现阻塞。为此，twisted提供了异步数据库实现方法，也就是使用连接池的方式进行交互。

from twisted.enterprise import adbapi
self.dbpool  = adbapi.ConnectPool(xxxx) # 生成连接池对象
yield self.dbpool.runInteraction(interaction_function, arg) # 返回异步处理数据库交互的方法

具体使用：

假设已经在配置文件settings.py中设定了

MYSQL_PIPELINE_URI = 'mysql://root:root@localhost/proxyip' #MySQL的uri

pipelines.py文件中的设置：

class MySQLPipeline(object):

    def __init__(self, mysql_url):
        '''创建连接池'''
        # 储存以便将来引用
        self.mysql_url = mysql_url
        # 报告连接错误
        self.report_connection_error = True
        # 解析mysql的uri，并初始化dbpool
        conn_kwargs = MySQLPipeline.parse_mysql_url(mysql_url)
        self.dbpool = adbapi.ConnectionPool('MySQLdb',
                                            charset='utf8',
                                            use_unicode=True,
                                            connect_timeout=5,
                                            **conn_kwargs)
    
    @classmethod
    def from_crawler(cls, crawler):
        '''检索crawler，获取settings'''
        # Get url from settings
        mysql_url = crawler.settings.get('MYSQL_PIPELINE_URI', None)
        # 如果没有配置uri，触发错误
        if not mysql_url:
            raise NotConfigured
        # 生成MySQLPipeline实例
        return cls(mysql_url)
    
    def close_spider(self, spider):
        '''spider关闭时关闭连接池'''
        self.dbpool.close()
    @defer.inlineCallbacks
    def process_item(self, item, spider):
        '''处理item，将其传入mysql数据库'''
        logger = spider.logger
        try:
            yield self.dbpool.runInteraction(MySQLPipeline._do_replace, item)
        except MySQLdb.OperationalError:
            if self.report_connection_error:
                print('Can not connect to MySQL:%s'%self.mysql_url)
                self.report_connection_error = False
        
        else:
            print(traceback.format_exc())
        # 返回item给下一阶段
        defer.returnValue(item)
        
    @staticmethod
    def _do_replace(tx, item):
        '''实现具体的替换操作'''
        sql = '''INSERT INTO ips(ip, port, protocol, speed, auth_time, is_transparent) VALUES(%s, %s, %s, %s, %s, %s)'''
        args = (
            item['ip'],
            item['port'],
            item['protocol'],
            item['speed'],
            item['auth_time'],
            item['is_transparent'],
            )
        tx.execute(sql, args)
        
        
    @staticmethod
    def parse_mysql_url(mysql_url):
        '''通过url获取数据库连接的参数，提供给adbapi的连接池'''
        
        params = dj_database_url.parse(mysql_url)
        conn_kwargs = {}
        conn_kwargs['host'] = params['HOST']
        conn_kwargs['user'] = params['USER']
        conn_kwargs['passwd'] = params['PASSWORD']
        conn_kwargs['db'] = params['NAME']
        conn_kwargs['port'] = params['PORT']
        # 删除空值
        conn_kwargs = dict((k,v) for k,v in conn_kwargs.iteritems() if v)
        
        return conn_kwargs