Python logging模块的使用

1、logging模块介绍

　　logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等。

2、logging模块的优点

　　1、可以通过设置不同的日志等级，在release版本中只输出重要信息，而不必显示大量的调试信息。

　　2、logging可以由开发者决定将信息输出的地方，以及输出格式。

3、logging模块使用

### 输出日志到控制台 ###
import logging 
logging.basicConfig(level=logging.DEBUG,format='%(asctime)s-%(name)s-%(levelname)s-%(message)s')
logger = logging.getLogger(__name__)
logger.info('我的第一个程序')
运行结果：
2019-02-18 17:34:21,996-__main__-INFO-我的第一个程序

　　logging中可以选择很多消息级别，如debug、info、warning、error以及critical。通过赋予logger或者handler不同的级别，开发者就可以只输出错误信息到特定的记录文件，或者在调试时只记录调试信息。

配置参数说明:logging.basicConfig函数各参数

　　filename：指定日志文件名

　　filemode：和file函数意义相同，指定日志文件的打开模式，'w'或者'a'

　　format：指定输出的格式和内容，format可以输出很多有用的信息

　　　　%(levelno)s: 打印日志级别的数值

　　　　%(levelname)s: 打印日志级别的名称

　　　　%(pathname)s: 打印当前执行程序的路径，其实就是sys.argv[0] %(filename)s：打印当前执行程序名

　　　　%(funcName)s: 打印日志的当前函数

　　　　%(lineno)d: 打印日志的当前行号

　　　　%(asctime)s: 打印日志的时间

　　　　%(thread)d: 打印线程ID

　　　　%(threadName)s: 打印线程名称

　　　　%(process)d: 打印进程ID

　　　　%(message)s: 打印日志信息

　　datefmt：指定时间格式，同time.strftime()

　　level: 设置日志级别，默认为logging.WARNNING

　　stream: 指定将日志的输出流，可以指定输出到sys.stderr，sys.stdout或者文件，默认输出到sys.stderr，当stream和filename同时指定时，stream被忽略

### 将日志写入到文件 ###
import logging 
logger = logging.getLogger(__name__)
# 日志级别
logger.setLevel(level=logging.DEBUG)
# 设置日志文件的级别
handler = logging.FileHandler('log.txt','w')
handler.setLevel(logging.DEBUG)
# 日志格式
formatter = logging.Formatter('%(asctime)s-%(name)s-%(levelname)s-%(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)
logger.info('我的第二个程序')
运行结果:
log.txt中日志数据为:2019-02-18 17:34:21,996-__main__-INFO-我的第二个程序

### 将日志写入到文件 ###
import logging 
logger = logging.getLogger(__name__)
# 日志级别
logger.setLevel(level=logging.DEBUG)
# 设置日志文件的级别
handler = logging.FileHandler('log.txt','w')
handler.setLevel(logging.DEBUG)
# 日志格式
formatter = logging.Formatter('%(asctime)s-%(name)s-%(levelname)s-%(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)

console = logging.StreamHandler()
console.setLevel(logging.INFO)
logger.addHandler(console)

logger.info('我的第二个程序')
logger.debug('我的第三个程序')
运行结果
控制台:2019-02-18 17:34:21,996-__main__-INFO-我的第二个程序
Log.txt中日志数据为:
2019-02-18 17:34:21,996-__main__-INFO-我的第二个程序
2019-02-18 17:34:21,996-__main__-DEBUG-我的第三个程序

logging有一个日志处理的主对象，其他处理方式都是通过addHandler添加进去，logging中包含的handler主要有如下几种

handler名称	位置	作用
StreamHandler	logging.StreamHandler	日志输出到流，可以是sys.stderr，sys.stdout或者文件
FileHandler	logging.FileHandler	日志输出到文件
BaseRotatingHandler	logging.handlers.BaseRotatingHandler	基本的日志回滚方式
RotatingHandler	logging.handlers.RotatingHandler	日志回滚方式，支持日志文件最大数量和日志文件回滚
TimeRotatingHandler	logging.handlers.TimeRotatingHandler	日志回滚方式，在一定时间区域内回滚日志文件
SocketHandler	logging.handlers.SocketHandler	远程输出日志到TCP/IP sockets
DatagramHandler	logging.handlers.DatagramHandler	远程输出日志到UDP sockets
SMTPHandler	logging.handlers.SMTPHandler	远程输出日志到邮件地址
SysLogHandler	logging.handlers.SysLogHandler	日志输出到syslog
NTEventLogHandler	logging.handlers.NTEventLogHandler	远程输出日志到Windows NT/2000/XP的事件日志
MemoryHandler	logging.handlers.MemoryHandler	日志输出到内存中的指定buffer
HTTPHandler	logging.handlers.HTTPHandler	通过"GET"或者"POST"远程输出到HTTP服务器

4、设置消息的等级

FATAL	致命错误
CRITICAL	特别糟糕的事情，如内存耗尽、磁盘空间为空，一般很少使用
ERROR	发生错误时，如IO操作失败或者连接问题
WARNING	发生很重要的事件，但是并不是错误时，如用户登录密码错误
INFO	处理请求或者状态变化等日常事务
DEBUG	调试过程中使用DEBUG等级，如算法中每个循环的中间状态

5、捕获traceback:

　　Python中的traceback模块被用于跟踪异常返回信息，可以在logging中记录下traceback

### 将日志写入到文件 ###
import logging 
logger = logging.getLogger(__name__)
# 日志级别
logger.setLevel(level=logging.DEBUG)
# 设置日志文件的级别
handler = logging.FileHandler('log.txt','w')
handler.setLevel(logging.DEBUG)
# 日志格式
formatter = logging.Formatter('%(asctime)s-%(name)s-%(levelname)s-%(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)
try:
　　f=open('sklearn.txt',’rb’)
　　f.readlines()
except Exception as e:
　　# 也可以使用logger.exception(msg,_args)，它等价于logger.error(msg,exc_info = True,_args)
　　logger.error(e,exc_info=True)
　　# logger.exception(e)
logger.info('Finish')
运行结果:
Faild to open sklearn.txt from logger.error
Traceback (most recent call last):
  File "G:\zhb7627\Code\Eclipse WorkSpace\PythonTest\test.py", line 23, in <module>
    open("sklearn.txt","rb")
IOError: [Errno 2] No such file or directory: 'sklearn.txt'
Finish

6、JSON文件配置

{
    "version":1,
    "disable_existing_loggers":false,
    "formatters":{
        "simple":{
            "format":"%(asctime)s - %(name)s - %(levelname)s - %(message)s"
        }
    },
    "handlers":{
        "console":{
            "class":"logging.StreamHandler",
            "level":"DEBUG",
            "formatter":"simple",
            "stream":"ext://sys.stdout"
        },
        "info_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"INFO",
            "formatter":"simple",
            "filename":"info.log",
            "maxBytes":"10485760",
            "backupCount":20,
            "encoding":"utf8"
        },
        "error_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"ERROR",
            "formatter":"simple",
            "filename":"errors.log",
            "maxBytes":10485760,
            "backupCount":20,
            "encoding":"utf8"
        }
    },
    "loggers":{
        "my_module":{
            "level":"ERROR",
            "handlers":["info_file_handler"],
            "propagate":"no"
        }
    },
    "root":{
        "level":"INFO",
        "handlers":["console","info_file_handler","error_file_handler"]
    }
}

　　通过JSON加载配置文件，然后通过logging.dictConfig配置logging

import json
import logging.config
import os
def setup_logging(default_path = "logging.json",default_level = logging.INFO,env_key = "LOG_CFG"):
    path = default_path
    value = os.getenv(env_key,None)
    if value:
        path = value
    if os.path.exists(path):
        with open(path,"r") as f:
            config = json.load(f)
            logging.config.dictConfig(config)
    else:
        logging.basicConfig(level = default_level)

def func():
    logging.info("start func")

    logging.info("exec func")

    logging.info("end func")

if __name__ == "__main__":
    setup_logging(default_path = "logging.json")
    func()