logging模块
1 logging模块简介
logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等；相比print，具备如下优点：
- 可以通过设置不同的日志等级，在release版本中只输出重要信息，而不必显示大量的调试信息；
- print将所有信息都输出到标准输出中，严重影响开发者从标准输出中查看其它数据；logging则可以由开发者决定将信息输出到什么地方，以及怎么输出
2 logging模块使用
函数式简单配置
import logging logging.debug('debug message') logging.info('info message') logging.warning('warning message') logging.error('error message') logging.critical('critical message')
默认情况下Python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG），默认的日志格式为日志级别：Logger名称：用户输出消息。
灵活配置日志级别，日志格式，输出位置:
import logging logging.basicConfig(level=logging.DEBUG, # 日志输出等级 format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', # 日志时间样式 filename='/tmp/test.log', # 日志路径 filemode='w') logging.debug('debug message') logging.info('info message') logging.warning('warning message') logging.error('error message') logging.critical('critical message')
# %(key)s 格式化
# 例： print("%(key)s-%(key2)s"%{"key":"value","key2":"value2"}) 输出：value-value2
logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有： filename：用指定的文件名创建FiledHandler，这样日志会被存储在指定的文件中。 filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。 format：指定handler使用的日志显示格式。 datefmt：指定日期时间格式。 level：设置rootlogger（后边会讲解具体概念）的日志级别 stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。 format参数中可能用到的格式化串： %(name)s Logger的名字 %(levelno)s 数字形式的日志级别 %(levelname)s 文本形式的日志级别 %(pathname)s 调用日志输出函数的模块的完整路径名，可能没有 %(filename)s 调用日志输出函数的模块的文件名 %(module)s 调用日志输出函数的模块名 %(funcName)s 调用日志输出函数的函数名 %(lineno)d 调用日志输出函数的语句所在的代码行 %(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示 %(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数 %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒 %(thread)d 线程ID。可能没有 %(threadName)s 线程名。可能没有 %(process)d 进程ID。可能没有 %(message)s用户输出的消息
logger对象配置
import logging logger = logging.getLogger() # 创建一个handler，用于写入日志文件 fh = logging.FileHandler("test.log",encoding="utf-8") # 再创建一个handler，用于输出到控制台 sh = logging.StreamHandler() # 设置日志输出级别
# 全局设置为DEBUG后，console handler 设置为INFO，如果输出的日志级别是debug，那就不会在屏幕上打印
# 相当于全局的筛选一边后，console 在筛选一边后打印到屏幕
logger.setLevel(level=logging.DEBUG) # 全局，优先级最高 fh.setLevel(logging.INFO) sh.setLevel(logging.INFO)
#日志输出格式 formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s") formatter2 = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s [line:%(lineno)d] : %(message)s') # 文件操作符 和 格式关联 fh.setFormatter(formatter) sh.setFormatter(formatter2) # logger 对象 和 文件操作符 关联 logger.addHandler(fh) logger.addHandler(sh) logging.debug("debug message") logging.info("info message") logging.warning("警告信息") logging.error("error message") logging.critical("critical message")
logging库提供了多个组件：Logger、Handler、Filter、Formatter。Logger对象提供应用程序可直接使用的接口，Handler发送日志到适当的目的地，Filter提供了过滤日志信息的方法，Formatter指定日志显示格式。另外，可以通过：logger.setLevel(logging.Debug)设置级别,当然，也可以通过：fh.setLevel(logging.Debug)单对文件流设置某个级别
可以发现，logging有一个日志处理的主对象，其他处理方式都是通过addHandler添加进去，logging中包含的handler主要有如下几种，
handler名称：位置；作用 StreamHandler：logging.StreamHandler；日志输出到流，可以是sys.stderr，sys.stdout或者文件 FileHandler：logging.FileHandler；日志输出到文件 BaseRotatingHandler：logging.handlers.BaseRotatingHandler；基本的日志回滚方式 RotatingHandler：logging.handlers.RotatingHandler；日志回滚方式，支持日志文件最大数量和日志文件回滚 TimeRotatingHandler：logging.handlers.TimeRotatingHandler；日志回滚方式，在一定时间区域内回滚日志文件 SocketHandler：logging.handlers.SocketHandler；远程输出日志到TCP/IP sockets DatagramHandler：logging.handlers.DatagramHandler；远程输出日志到UDP sockets SMTPHandler：logging.handlers.SMTPHandler；远程输出日志到邮件地址 SysLogHandler：logging.handlers.SysLogHandler；日志输出到syslog NTEventLogHandler：logging.handlers.NTEventLogHandler；远程输出日志到Windows NT/2000/XP的事件日志 MemoryHandler：logging.handlers.MemoryHandler；日志输出到内存中的指定buffer HTTPHandler：logging.handlers.HTTPHandler；通过"GET"或者"POST"远程输出到HTTP服务器
日志回滚
使用RotatingFileHandler，可以实现日志回滚，
import logging from logging.handlers import RotatingFileHandler logger = logging.getLogger(__name__) logger.setLevel(level = logging.INFO) #定义一个RotatingFileHandler，最多备份3个日志文件，每个日志文件最大1K rHandler = RotatingFileHandler("log.txt",maxBytes = 1*1024,backupCount = 3) rHandler.setLevel(logging.INFO) formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') rHandler.setFormatter(formatter) console = logging.StreamHandler() console.setLevel(logging.INFO) console.setFormatter(formatter) logger.addHandler(rHandler) logger.addHandler(console) logger.info("Start print log") logger.debug("Do something") logger.warning("Something maybe fail.") logger.info("Finish")
设置消息的等级
可以设置不同的日志等级，用于控制日志的输出，
日志等级：使用范围
FATAL：致命错误
CRITICAL：特别糟糕的事情，如内存耗尽、磁盘空间为空，一般很少使用
ERROR：发生错误时，如IO操作失败或者连接问题
WARNING：发生很重要的事件，但是并不是错误时，如用户登录密码错误
INFO：处理请求或者状态变化等日常事务
DEBUG：调试过程中使用DEBUG等级，如算法中每个循环的中间状态
捕获traceback
Python中的traceback模块被用于跟踪异常返回信息，可以在logging中记录下traceback，
import logging logger = logging.getLogger(__name__) logger.setLevel(level = logging.INFO) handler = logging.FileHandler("log.txt") handler.setLevel(logging.INFO) formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') handler.setFormatter(formatter) console = logging.StreamHandler() console.setLevel(logging.INFO) logger.addHandler(handler) logger.addHandler(console) logger.info("Start print log") logger.debug("Do something") logger.warning("Something maybe fail.") try: open("sklearn.txt","rb") except (SystemExit,KeyboardInterrupt): raise except Exception: logger.error("Faild to open sklearn.txt from logger.error",exc_info = True) logger.info("Finish")
控制台和日志文件log.txt中输出，
Start print log Something maybe fail. Faild to open sklearn.txt from logger.error Traceback (most recent call last): File "G:\zhb7627\Code\Eclipse WorkSpace\PythonTest\test.py", line 23, in <module> open("sklearn.txt","rb") IOError: [Errno 2] No such file or directory: 'sklearn.txt' Finish
也可以使用logger.exception(msg,_args)，它等价于logger.error(msg,exc_info = True,_args)，
将
logger.error("Faild to open sklearn.txt from logger.error",exc_info = True)
替换为，
logger.exception("Failed to open sklearn.txt from logger.exception")
控制台和日志文件log.txt中输出，
Start print log Something maybe fail. Failed to open sklearn.txt from logger.exception Traceback (most recent call last): File "G:\zhb7627\Code\Eclipse WorkSpace\PythonTest\test.py", line 23, in <module> open("sklearn.txt","rb") IOError: [Errno 2] No such file or directory: 'sklearn.txt' Finish
filter组件
如果想对日志内容进行过滤，就可自定义一个filter
1 class IgnoreBackupLogFilter(logging.Filter): 2 """忽略带db backup 的日志""" 3 def filter(self,record): # 固定写法 4 return "db backup" not in record.getMessage() 5 注意filter函数会返回 True or False，logger根据此值决定是否输出次日志
然后把这个 filter 添加到 logger 中
1 logger.addFilter(IgnoreBackupLogFilter()) 2 3 下面的日志就会把符合filter条件的过滤掉 4 5 logger.debug("test ....") 6 logger.info("test info ....") 7 logger.warning("start to run db backup job ....") 8 logger.error("test error ....")
日志自动截断
1. logging.handlers.RotatingFileHandler
这个Handler类似于上面的FileHandler，但是它可以管理文件大小。当文件达到一定大小之后，它会自动将当前日志文件改名，然后创建一个新的同名日志文件继续输出。比如日志文件是chat.log。当chat.log达到指定的大小之后，RotatingFileHandler自动把文件改名为chat.log.1。不过，如果chat.log.1已经存在，会先把chat.log.1重命名为chat.log.2。。。最后重新创建chat.log，继续输出日志信息，他的函数是；
1 RotatingFileHandler(filename[, mode[, maxBytes[, backupCount]]]) 2 filename：文件名 3 mode：格式 4 maxBytes：最大的字节 5 backupCount：保留几个备份 6 例： 7 from logging import handlers 8 fh = handlers.RotatingFileHandler("web.log",maxBytes=10,backupCount=3)
其中filename和mode两个参数和FileHandler一样
- maxBytes用于指定日志文件的最大文件大小。如果maxBytes为0，意味着日志文件可以无限大，这时上面描述的重命名过程就不会发生。
- backupCount用于指定保留的备份文件的个数。比如，如果指定为2，当上面描述的重命名过程发生时，原有的chat.log.2并不会被更名，而是被删除。
2. logging.handlers.TimedRotatingFileHandler
这个Handler和RotatingFileHandler类似，不过，它没有通过判断文件大小来决定何时重新创建日志文件，而是间隔一定时间就自动创建新的日志文件。重命名的过程与RotatingFileHandler类似，不过新的文件不是附加数字，而是当前时间。它的函数是：
1 TimedRotatingFileHandler(filename [,when [,interval [,backupCount]]]) 2 3 filename ：文件 4 when：参数是一个字符串。表示时间间隔的单位，不区分大小写。它有以下取值： 5 S 秒 6 M 分 7 H 小时 8 D 天 9 W 每星期（interval==0时代表星期一） 10 midnight 每天凌晨 11 interval：是时间间隔 12 backupCount：保留几份 13 14 例子： 15 from logging import handlers 16 fh = handlers.TimedRotatingFileHandler(filename="web.log",when="S",interval=5,backupCount=3)
例子：
import logging from logging import handlers # 全局设置为DEBUG后，console handler 设置为INFO，如果输出的日志级别是debug，那就不会在屏幕上打印 # 相当于全局的筛选一边后，console 在筛选一边后打印到屏幕 #1.生成 logger对象 logger = logging.getLogger("web") logger.setLevel(logging.DEBUG) #2.生成 handler对象 ch = logging.StreamHandler() fh = logging.FileHandler("web.log") # 自动分割 按内存大小分 #fh = handlers.RotatingFileHandler("web.log",maxBytes=10,backupCount=3) # 按时间分割 # fh = handlers.TimedRotatingFileHandler(filename="web.log",when="S",interval=5,backupCount=3) # 过滤关键字 class IgnoreBackupLogFilter(logging.Filter): """忽略带db backup 的日志""" def filter(self, record): # 固定写法 return "db backup" not in record.getMessage() logger.addFilter(IgnoreBackupLogFilter()) #2.1 把handler对象绑定到logger logger.addHandler(ch) logger.addHandler(fh) ####fh = logging.RootLogger #3。生成formatter对象 #3.1 把formatter对象绑定handler file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') console_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') fh.setFormatter(file_formatter) ch.setFormatter(console_formatter) # fh.setLevel(logging.INFO) ch.setLevel(logging.INFO) logger.debug("test log debug ....") logger.info("test log info ....") logger.warning("test log db backup warning ....") logger.error("test log errot .....")
