logging模块在scrapy框架中及在普通项目中的应用

 一、在scrapy中的应用：

1、在settings中的设置：

LOG_LEVEL="WARNING"#如此设置最终终端上只会显示warning及以上的日志，其他的都不会显示，日志等级为四种
LOG_FILE="./log.log"#保存日志供后续查看，"./log.log"为日志保存目录

2、在spider.py或pipelines.py文件中import logging，实例化logger的方式，使用logger输出内容：

# -*- coding: utf-8 -*-
import scrapy
import logging

class Itcast1Spider(scrapy.Spider):
    name = 'itcast1'
    allowed_domains = ['itcast.cn']
    start_urls = ['http://itcast.cn/']

    def parse(self, response):
        for i in range(10):
            item={}
            item["come_from"]="itcast1"
            logging.warning(item)
        pass

 

# -*- coding: utf-8 -*-
import scrapy
import logging

logger=logging.getLogger(__name__)

class Itcast2Spider(scrapy.Spider):
    name = 'itcast2'
    allowed_domains = ['itcast.cn']
    start_urls = ['http://itcast.cn/']

    def parse(self, response):
        for i in range(10):
            item = {}
            item["come_from"] = "itcast1"
            logger.warning(item)
            yield item

 

 

#pipelines.py
import logging
logger=logging.getLogger(__name__)
class MyspiderPipeline(object):
    def process_item(self, item, spider):
        logger.warning("*"*10)
        # item["hello"]="world"
        # print(item)
        return item#为了让数据在不同的pipeline中传递，需要return来返回item,

 

 

 二、在普通项目中的应用：

import logging
logger=logging.basicConfig(...) #设置日志输出的样式，格式（可看考别人的格式）
#实例化一个
logger=logging.getlogger(__name__)
#在任何py文件中调用Logger即可