logging日志的使用和设置过期自动删除
一、logging的基础使用
1、logging的级别
import logging logging.debug('debug message') # 计算或者工作的细节 logging.info('info message') # 记录一些用户的增删改查的操作 logging.warning('warning operation') # 警告操作 logging.error('error message') # 错误操作 logging.critical('critical message') # 致命的错误 直接导致程序出错退出的 结果: WARNING:root:warning operation ERROR:root:error message CRITICAL:root:critical message 从上面可以看出: 默认情况下Python的logging模块将日志打印到了标准输出中,且只显示了大于等于warning级别的日志, 这说明默认的日志级别设置为WARNING(日志级别等级critical > error > warning > info > debug), 默认的日志格式为日志级别:level级别:用户:输出消息。
2、简单配置
logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为 import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%Y-%m-%d %H:%M', # 把asctime的时间格式改为:年-月-日 时:分 filename='test.log', filemode='w') logging.debug('debug message') logging.info('info message') logging.warning('warning message') logging.error('error message') logging.critical('critical message') (简单配置中文显示的是乱码) 参数说明: level:设置logger的日志级别(大于等于这个参数的级别都会显示) format:指定handler使用的日志显示格式。 datefmt:指定日期时间格式。 filename:用指定的文件名创建FiledHandler,这样日志会被存储在指定的文件中。 filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。 stream:用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’)), 默认为sys.stderr。若同时列出了filename和stream两个参数,则stream参数会被忽略。 format参数中可能用到的格式化串: %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒(可用datefmt修改默认日期时间格式。) %(filename)s 调用日志输出函数的模块的文件名 %(lineno)d 调用日志输出函数的语句所在的代码行 %(levelname)s 日志级别 %(message)s用户输出的消息 %(name)s 用户的名字 %(levelno)s 数字形式的日志级别 %(pathname)s 调用日志输出函数的模块的完整路径名,可能没有 %(module)s 调用日志输出函数的模块名 %(funcName)s 调用日志输出函数的函数名 %(created)f 当前时间,用UNIX标准的表示时间的浮 点数表示 %(relativeCreated)d 输出日志信息时的,自Logger创建以 来的毫秒数 %(thread)d 线程ID。可能没有 %(threadName)s 线程名。可能没有 %(process)d 进程ID。可能没有
3、对象的配置
import logging logger = logging.getLogger() # 创建一个log对象 logger.setLevel(logging.DEBUG) # 设置显示级别 # 还要创建一个控制文件输出的文件操作符 fh = logging.FileHandler('mylog.log', encoding='utf-8') # 指定编码可以解决中文乱码问题 # 还要创建一个控制屏幕输出的屏幕操作符 sh = logging.StreamHandler() # 要创建一个格式(多个格式也可以) fmt = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s [line:%(lineno)d]') # 文件操作符绑定一个格式 fh.setFormatter(fmt) # fh.setLevel(logging.WARNING) # 可以设置写入文件的级别,不设置的话就默认用log对象设置的级别(一般全部级别的信息都写进去) # 屏幕操作符绑定一个格式 sh.setFormatter(fmt) sh.setLevel(logging.WARNING) # 可以设置屏幕打印的级别,不设置的话就默认用log对象设置的级别 # 但是不能设置比log对象设置的级别低,否则只会执行log对象的级别,比如:log对象设置的级别是WARNING,你这里设置INFO,级别 # 没有WARNING高,不会显示 # logger对象来绑定:文件操作符, 屏幕操作符 logger.addHandler(sh) logger.addHandler(fh) logger.debug('debug message') # 计算或者工作的细节 logger.info('info message') # 记录一些用户的增删改查的操作 logger.warning('warning message') # 警告操作 logger.error('error message') # 错误操作 logger.critical('critical message') # 批判的 直接导致程序出错退出的
4、工作中的使用案例
import logging def init_log(data): log_id = data.get("log_id", None) # 从参数中获取日志id logger = logging.getLogger(str(log_id)) # 根据log_id创建一个log对象 logger.setLevel(logging.INFO) # 设置显示级别 # 避免重复生成新的logger,日志多次写入的问题 # 避免这种情况:第一条记录写一次,第二条记录写两次,第三条记录写三次 if not logger.handlers: fh = logging.FileHandler('mylog.log', encoding='utf-8') # 创建一个控制文件输出的文件操作符 # 创建一个日志输出格式 fmt = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s [line:%(lineno)d]') # 文件操作符绑定一个格式 fh.setFormatter(fmt) # fh.setLevel(logging.WARNING) # 可以设置写入文件的级别,不设置的话就默认用log对象设置的级别 # logger对象来绑定:文件操作符 logger.addHandler(fh) def write_log(data): log_id = data.get("log_id", None) # 从参数中获取日志id logger = logging.getLogger(str(log_id)) # 根据log_id创建一个log对象 # 在需要打印日志的地方,直接打印日志即可,上面的init_log已经实例化完毕 logger.error("错啦!")
二、自动删除功能
1、通过时间设置备份并删除
通过TimedRotatingFileHandler可以把输出重定向到文件,它会对比文件最后修改时间和当前时间,如果比设置的时候大,则会把当前文件加时间后缀备份,然后,新建一个进行Log。
import logging from logging.handlers import TimedRotatingFileHandler def init_log(data): log_id = data.get("log_id", None) logger = logging.getLogger(str(log_id)) logger.setLevel(logging.INFO) if not logger.handlers: # 这里设置成TimedRotatingFileHandler # 创建一个由时间控制的文件操作符:每天生成一个文件 tfh = TimedRotatingFileHandler(filename='mylog.log', when="D", interval=1, backupCount=3) fmt = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s [line:%(lineno)d]') tfh.setFormatter(fmt) logger.addHandler(tfh) def write_log(data): log_id = data.get("log_id", None) logger = logging.getLogger(str(log_id)) # 在需要打印日志的地方,直接打印日志即可,上面的init_log已经实例化完毕 logger.error("错啦!")
- filename:日志文件名的prefix;
- when:是一个字符串,用于描述滚动周期的基本单位,字符串的值及意义如下:
“S”: Seconds
“M”: Minutes
“H”: Hours
“D”: Days
“W”: Week day (0=Monday)
“midnight”: Roll over at midnight - interval: 滚动周期,单位有when指定,比如:when=’D’,interval=1,表示每天产生一个日志文件;
- backupCount: 表示日志文件的保留个数;
例如上面的结果会这样:
如果到22号,那么19号的会自动删除,生成22号的日志
2、通过文件大小设置备份并删除
使用RotatingFileHander对log的文件大小进行限制
import logging from logging.handlers import RotatingFileHandler def init_log(data): log_id = data.get("log_id", None) logger = logging.getLogger(str(log_id)) logger.setLevel(logging.INFO) if not logger.handlers: # 创建一个由文件大小控制的文件操作符 # 文件大小最大为1MB,超过时自动备份,最多备份3个,超过三个删除最早的记录 tfh = RotatingFileHandler(filename='mylog.log', maxBytes=1024 * 1024, backupCount=3) fmt = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s [line:%(lineno)d]') tfh.setFormatter(fmt) logger.addHandler(tfh) def write_log(data): log_id = data.get("log_id", None) logger = logging.getLogger(str(log_id)) # 在需要打印日志的地方,直接打印日志即可,上面的init_log已经实例化完毕 logger.error("错啦!")
结果如下:
最多产生3个备份文件,每个文件最大为1MB,3个文件都超过1MB时,自动清理最早的日志。