Logging模块介绍
很多程序都有记录日志的需求,并且日志中包含的信息即有正常的程序访问日志,还可能有错误、警告等信息输出,python的logging模块提供了标准的日志接口,你可以通过它存储各种格式的日志,logging的日志可以分为 debug()
, info()
, warning()
, error()
and critical() 5个级。各级别的解释如下:
LEVEL | when it is used | |
debug | detailed information,typicall of interest only when diagnosing problem | |
info | confimation that tings are working as expected | |
warning | an indication that something unexpected happened, or indicative of some problems in the near future (e.g. "disk space low"). The software is sitll working as expected | |
error | Due to a more serious problem, the software has not been able to perform some functions | |
critical | A serious error,indicating that the program itself may be unable to continue running |
logging模块中有四个类:Logger, Handler, Filter, Formatter。
- logger提供了应用程序可以直接使用的接口;每个程序在输出信息之前都要获得一个Logger。Logger通常
- handler将(logger创建的)日志记录发送到合适的目的输出;
- filter提供了细度设备来决定输出哪条日志记录;比较少用。
- formatter决定日志记录的最终输出格式。
常用操作
简单地将日志打印到屏幕
import logging # 5个级别的日志 debug < info < warning < error < critical # 默认的日志级别是error以上,低于error的info和debug不打印 logging.debug("test debug") logging.info("test") # 默认情况下,info不打印。 logging.warning('user [alex] attempted wrong password more than 3 times') logging.error("test error") logging.critical('server is down')
返回值:
WARNING:root:user [alex] attempted wrong password more than 3 times
ERROR:root:test error
CRITICAL:root:server is down
由于当前default level 是 warning, warning 级别以下的日志将不打印。
灵活地配置日志级别,日志格式,及输出位置 - logging.basicConfig(**kwargs)函数
logging.basicConfig()可修改的参数
参数 |
解释 |
filename | 用制定文件名创建FileHandler, 这样日志会被存储在制定文件中 |
filemode | 文件打开方式, 在指定filename时使用这个参数,默认为a, 可指定为w |
format | handler使用的日志显示格式 |
datefmt | 日期时间格式 |
level | 设置rootlogger的日志级别 |
stream | 指定的stream创建StreamHandler。可以指定输出到sys.stderr, sys.stdout或者文件, 默认为sys.stderr。 若同时列出了filename 和 stream 两个参数, 则stream参数会被忽略。 |
format参数中可用到的格式化串
格式化串 | 代表 |
%(name)s | logger的名字 |
%(levelno)s | 数字形式的日志级别 |
%(levelname)s | 文字形式的日志级别 |
%(pathname)s | 调用日志输出函数的模块的完整路径名,可能没有 |
%(filename)s | 调用日志输出函数的模块的文件名 |
%(module)s | 调用日志输出函数的模块名 |
%(funcName)s | 调用日志输出函数的函数名 |
%(lineno)d | 调用日志输出函数的语句所在的代码行 |
%(created)f | 当前时间,用UNIX标准的表示时间的浮点数表示 |
%(relativeCreated)d | 输出日志信息时的,自Logger创建以来的毫秒数 |
%(asctime)s |
字符串形成的当前时间。 默认格式 “2003-07-08 16:49:45,896”, 逗号后面时毫秒 |
%(thread)d | 线程ID。可能没有 |
%(threadName)s | 线程名。可能没有 |
%(process)d | 进程ID。可能没有 |
%(message)s | 用户输出的消息 |
import logging # 配置日志级别,日志格式,输出位置 # 将日志输出到指定文件 logging.basicConfig(filename="app.log", level=logging.WARNING, format="%(asctime)s %(message)s", datefmt="%m/%d/%Y %I:%M:%S %p", filemode="w") logging.debug("test debug") logging.info("test") logging.warning('user [bob] attempted wrong password more than 3 times') logging.error("test error") logging.critical('server is down')
#文件app.log中,返回以下信息: 08/23/2017 10:55:11 PM user [bob] attempted wrong password more than 3 times 08/23/2017 10:55:11 PM test error 08/23/2017 10:55:11 PM server is down
将日志同时输出到文件和屏幕
logger类
每个程序在输出信息之前都要获得一个Logger。Logger通常对应了程序的模块名,比如聊天工具的图形界面模块可以这样获得它的Logger:LOG=logging.getLogger(”chat.gui”)
而核心模块可以这样:
LOG=logging.getLogger(”chat.kernel”)
Logger.setLevel(lel):指定最低的日志级别,低于lel的级别将被忽略。debug是最低的内置级别,critical为最高
Logger.addFilter(filt)、Logger.removeFilter(filt):添加或删除指定的filter
Logger.addHandler(hdlr)、Logger.removeHandler(hdlr):增加或删除指定的handler
Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical():可以设置的日志级别
handler类
handler对象负责发送相关的信息到指定目的地。Python的日志系统有多种Handler可以使用。有些Handler可以把信息输出到控制台,有些Logger可以把信息输出到文件,还有些 Handler可以把信息发送到网络上。如果觉得不够用,还可以编写自己的Handler。可以通过addHandler()方法添加多个多handler
Handler.setLevel(lel):指定被处理的信息级别,低于lel级别的信息将被忽略
Handler.setFormatter():给这个handler选择一个格式
Handler.addFilter(filt)、Handler.removeFilter(filt):新增或删除一个filter对象
每个Logger可以附加多个Handler。接下来我们就来介绍一些常用的Handler:
1) logging.StreamHandler
使用这个Handler可以向类似与sys.stdout或者sys.stderr的任何文件对象(file object)输出信息。它的构造函数是:
StreamHandler([strm])
其中strm参数是一个文件对象。默认是sys.stderr
2) logging.FileHandler
和StreamHandler类似,用于向一个文件输出日志信息。不过FileHandler会帮你打开这个文件。它的构造函数是:
FileHandler(filename[,mode])
filename是文件名,必须指定一个文件名。
mode是文件的打开方式。参见Python内置函数open()的用法。默认是’a',即添加到文件末尾。
3) logging.handlers.RotatingFileHandler
这个Handler类似于上面的FileHandler,但是它可以管理文件大小。当文件达到一定大小之后,它会自动将当前日志文件改名,然后创建 一个新的同名日志文件继续输出。比如日志文件是chat.log。当chat.log达到指定的大小之后,RotatingFileHandler自动把 文件改名为chat.log.1。不过,如果chat.log.1已经存在,会先把chat.log.1重命名为chat.log.2。。。最后重新创建 chat.log,继续输出日志信息。它的构造函数是:
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode两个参数和FileHandler一样。
maxBytes用于指定日志文件的最大文件大小。如果maxBytes为0,意味着日志文件可以无限大,这时上面描述的重命名过程就不会发生。
backupCount用于指定保留的备份文件的个数。比如,如果指定为2,当上面描述的重命名过程发生时,原有的chat.log.2并不会被更名,而是被删除。
4) logging.handlers.TimedRotatingFileHandler
这个Handler和RotatingFileHandler类似,不过,它没有通过判断文件大小来决定何时重新创建日志文件,而是间隔一定时间就 自动创建新的日志文件。重命名的过程与RotatingFileHandler类似,不过新的文件不是附加数字,而是当前时间。它的构造函数是:
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename参数和backupCount参数和RotatingFileHandler具有相同的意义。
interval是时间间隔。
when参数是一个字符串。表示时间间隔的单位,不区分大小写。它有以下取值:
S 秒
M 分
H 小时
D 天
W 每星期(interval==0时代表星期一)
midnight 每天凌晨
1 #!user/bin/env python 2 # -*- coding:utf-8 -*- 3 # logger多输出:logger和handler的使用 4 5 6 import logging 7 8 # 创建logger 9 logger= logging.getLogger("Test-log") 10 logger.setLevel(logging.DEBUG) 11 12 # 创建第一个handler - 屏幕handler 13 ch = logging.StreamHandler() 14 ch.setLevel(logging.WARNING) 15 16 # 创建第二个handler - 文件handler 17 fh = logging.FileHandler("access.log") 18 fh.setLevel(logging.ERROR) 19 20 # handler输出的格式设置 21 fh_formatter = logging.Formatter("%(asctime)s %(process)d %(filename)s: %(lineo)d %(funcName)s - %(levelname)s: %(message)s") 22 ch_formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s") 23 24 # 关联handler和formatter 25 ch.setFormatter(ch_formatter) 26 fh.setFormatter(fh_formatter) 27 28 # 告诉logger输出到不同的handler 29 logger.addHandler(ch) 30 logger.addHandler(fh) 31 32 # 开始编写logger的信息 33 logging.error("Error exist")
有一类情况,当某网站的访问量庞大,那么日志输出量也很大。一般可能为了不让日志输出文件过大,可能会写个文件切割的脚本。 logger模块可以直接按照日期和文件大小进行切割,见下列:
1 #!user/bin/env python 2 # -*- coding:utf-8 -*- 3 # logger文件自动截断:当文件到达指定大小,切割到文件二/三deng 4 5 6 import logging 7 from logging import handlers 8 9 logger = logging.getLogger("Test") 10 11 log_file = "maxByteslog.log" 12 fh = handlers.RotatingFileHandler(filename=log_file,maxBytes=10,backupCount=3) # 设置文件大小最多10B,同时3个备份文件 13 14 formatter = logging.Formatter("%(asctime)s %(module)s: %(lineno)d %(message)s") 15 16 fh.setFormatter(formatter) 17 logger.addHandler(fh) 18 19 logger.warning("test1") 20 logger.warning("test2") 21 logger.warning("test3") 22 logger.warning("test4") 23 logger.warning("test5") 24 logger.warning("test6")
1 #!user/bin/env python 2 # -*- coding:utf-8 -*- 3 # logger文件自动截断:按时间 4 5 6 import logging,time 7 from logging import handlers 8 9 logger = logging.getLogger("Test") 10 11 log_file = "log.log" 12 fh = handlers.TimedRotatingFileHandler(filename=log_file,when="S",interval=5,backupCount=3) # 按时间切割,s为秒(midnight和day比较有用),同时3个备份文件 13 14 formatter = logging.Formatter("%(asctime)s %(module)s: %(lineno)d %(message)s") 15 16 fh.setFormatter(formatter) 17 logger.addHandler(fh) 18 19 logger.warning("test1") 20 time.sleep(2) 21 logger.warning("test2") 22 time.sleep(2) 23 logger.warning("test3") 24 time.sleep(2) 25 logger.warning("test4")