scrapy设置logger日志
1、在settings中设置log级别,在settings.py中添加一行:
LOG_LEVEL = 'WARNING'
Scrapy提供5层logging级别:
CRITICAL - 严重错误
ERROR - 一般错误
WARNING - 警告信息
INFO - 一般信息
DEBUG - 调试信息
scrapy默认显示DEBUG级别的log信息
2、将输出结果保存为log日志,在settings.py中添加路径:
LOG_FILE = './log.log'
通过在setting.py中进行以下设置可以被用来配置logging:
LOG_ENABLED 默认: True,启用logging
LOG_ENCODING 默认: ‘utf-8’,logging使用的编码
LOG_FILE 默认: None,在当前目录里创建logging输出文件的文件名
LOG_LEVEL 默认: ‘DEBUG’,log的最低级别
3、显示log位置,在pipelines.py中:
import logging
logger = logging.getLogger(__name__)
def process_item(self, item, spider):
logger.warning(item)
....