24、常用模块三
一、logging模块
日志模块
1.1、日志模块输出位置
1.终端
2.文件
filename='access.log', # 不指定，默认打印到终端
1.2、日志格式
format='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
1.3、日志时间格式
datefmt='%Y-%m-%d %H:%M:%S %p',
1.4、日志级别
critical => 50 error => 40 warning => 30 info => 20 debug => 10 NOTSET = 0 #不设置
#输出日志
logging.debug('调试debug') # 10
logging.info('消息info') # 20
logging.warning('警告warn')# 30
logging.error('egon提现失败') # 40
logging.critical('严重critical') # 50
二、日志级别与配置
2.1、日志配置字典 LOGGING_DIC：定义三种日志输出格式，日志可能会用到的格式化串如下：
# %(name)s Logger的名字 # %(levelno)s 数字形式的日志级别 # %(levelname)s 文本形式的日志级别 # %(pathname)s 调用日志输出函数的模块的完整路径名，可能没有 # %(filename)s 调用日志输出函数的模块的文件名 # %(module)s 调用日志输出函数的模块名 # %(funcName)s 调用日志输出函数的函数名 # %(lineno)d 调用日志输出函数的语句所在的代码行 # %(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示 # %(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数 # %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒 # %(thread)d 线程ID。可能没有 # %(threadName)s 线程名。可能没有 # %(process)d 进程ID。可能没有 # %(message)s用户输出的消息
2.2、注意：其中的%（name）s为getlogger时指定的名字
standard_format = '%(asctime)s - %(threadName)s:%(thread)d - 日志名字:%(name)s - %(filename)s:%(lineno)d -' \ '%(levelname)s - %(message)s' simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s' test_format = '%(asctime)s] %(message)s'
2.3、日志配置字典
LOGGING_DIC = { 'version': 1, 'disable_existing_loggers': False, 'formatters': { 'standard': { 'format': standard_format }, 'simple': { 'format': simple_format }, 'test': { 'format': test_format }, }, 'filters': {}, # handlers是日志的接收者，不同的handler会将日志输出到不同的位置 'handlers': { #打印到终端的日志 'console': { 'level': 'DEBUG', 'class': 'logging.StreamHandler', # 打印到屏幕 'formatter': 'simple' }, 'default': { 'level': 'DEBUG', 'class': 'logging.handlers.RotatingFileHandler', # 保存到文件 # 'maxBytes': 1024*1024*5, # 日志大小 5M 'maxBytes': 1000, 'backupCount': 5, 'filename': 'a1.log', # os.path.join(os.path.dirname(os.path.dirname(__file__)),'log','a2.log') 'encoding': 'utf-8', 'formatter': 'standard', }, #打印到文件的日志,收集info及以上的日志 'other': { 'level': 'DEBUG', 'class': 'logging.FileHandler', # 保存到文件 'filename': 'a2.log', # os.path.join(os.path.dirname(os.path.dirname(__file__)),'log','a2.log') 'encoding': 'utf-8', 'formatter': 'test', }, }, # loggers是日志的产生者，产生的日志会传递给handler然后控制输出 'loggers': { #logging.getLogger(__name__)拿到的logger配置 'kkk': { 'handlers': ['console','other'], # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕 'level': 'DEBUG', # loggers(第一层日志级别关限制)--->handlers(第二层日志级别关卡限制) 'propagate': False, # 默认为True，向上（更高level的logger）传递，通常设置为False即可，否则会一份日志向上层层传递 }, '终端提示': { 'handlers': ['console',], # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕 'level': 'DEBUG', # loggers(第一层日志级别关限制)--->handlers(第二层日志级别关卡限制) 'propagate': False, # 默认为True，向上（更高level的logger）传递，通常设置为False即可，否则会一份日志向上层层传递 }, '': { 'handlers': ['default', ], # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕 'level': 'DEBUG', # loggers(第一层日志级别关限制)--->handlers(第二层日志级别关卡限制) 'propagate': False, # 默认为True，向上（更高level的logger）传递，通常设置为False即可，否则会一份日志向上层层传递 }, }, }
2.4、使用
创建启动文件，src.py，里面先填入模块名，接着通过包导入模块，接着加载配置，最后再填写输出日志
import settings # !!!强调!!! # 1、logging是一个包，需要使用其下的config、getLogger，可以如下导入from logging import configfrom logging import getLogger # 2、也可以使用如下导入 import logging.config # 这样连同logging.getLogger都一起导入了,然后使用前缀logging.config. # 3、加载配置 logging.config.dictConfig(settings.LOGGING_DIC) # 4、输出日志 logger1=logging.getLogger('用户交易') logger1.info('egon儿子alex转账3亿冥币') # logger2=logging.getLogger('专门的采集') # 名字传入的必须是'专门的采集'，与LOGGING_DIC中的配置唯一对应 # logger2.debug('专门采集的日志') common.py
三、re模块
3.1、什么是正则
正则就是用一些具有特殊含义的符号组合在一起用来描述字符或者字符串的方法，称之为正则。
或者说：正则就是用来描述一类事物的规则，它内嵌在Python中，并且通过re模块实现。正则表达式模式被编译成一系列的字节码，然后又c语言编写的匹配引擎执行。
3.2、正则模块的使用
匹配数字即下划线 \w
print(re.findall('\w','hello egon 123')) #['h', 'e', 'l', 'l', 'o', 'e', 'g', 'o', 'n', '1', '2', '3']
匹配非字母及下划线 \W
print(re.findall('\W','hello egon 123')) #[' ', ' ']
匹配任意空白符\s，等价于【\n\t\r\f】与匹配任意非空白符\S
print(re.findall('\s','hello egon 123')) #[' ', ' ', ' ', ' '] print(re.findall('\S','hello egon 123')) #['h', 'e', 'l', 'l', 'o', 'e', 'g', 'o', 'n', '1', '2', '3']
匹配\n\t\s,其中\s可以匹配\n和\t，但是\n和\t只能匹配他们自己
print(re.findall('\s','hello \n egon \t 123')) #[' ', '\n', ' ', ' ', '\t', ' '] print(re.findall(r'\n','hello egon \n123')) #['\n'] print(re.findall(r'\t','hello egon\t123')) #['\n']
匹配任意数字\d,匹配任意非数字\D
print(re.findall('\d','hello egon 123')) #['1', '2', '3'] print(re.findall('\D','hello egon 123')) #['h', 'e', 'l', 'l', 'o', ' ', 'e', 'g', 'o', 'n', ' ']
匹配字符串开始\A,匹配字符串结束\Z
print(re.findall('\Ahe','hello egon 123')) #['he'],\A==>^ print(re.findall('123\Z','hello egon 123')) #['he'],\Z==>$
匹配字符串开头\^,匹配字符串末尾\$
print(re.findall('^h','hello egon 123')) #['h'] print(re.findall('3$','hello egon 123')) #['3']
3.3、重复匹配
.\。：匹配除了\n以外任意一个字符
# print(re.findall('a.b','a1b a2b a b abbbb a\nb a\tb a*b')) # a.b # ['a1b','a2b','a b','abb','a\tb','a*b'] # print(re.findall('a.b','a1b a2b a b abbbb a\nb a\tb a*b',re.DOTALL))
\*：左侧字符可以重复0到无限次，性格贪婪
print(re.findall('ab*','bbbbbbb')) #[] print(re.findall('ab*','a')) #['a'] print(re.findall('ab*','abbbb')) #['abbbb']
\+：左侧字符可以重复1到无限次，性格贪婪
# print(re.findall('ab+','a ab abb abbbbbbbb bbbbbbbb')) # ab+
\?：左侧字符可以重复0到1次，性格贪婪
# print(re.findall('ab?','a ab abb abbbbbbbb bbbbbbbb')) # ab? # ['a','ab','ab','ab']
{m,n}：左侧字符可以重复m到n次，性格贪婪
# {0,} => * # {1,} => + # {0,1} => ? # {n}单独一个n代表只出现n次，多一次不行少一次也不行 # print(re.findall('ab{2,5}','a ab abb abbb abbbb abbbbbbbb bbbbbbbb')) # ab{2,5} # ['abb','abbb','abbbb','abbbbb]
【】匹配指定字符一个
print(re.findall('a[1*-]b','a1b a*b a-b')) #[]内的都为普通字符了，且如果-没有被转意的话，应该放到[]的开头或结尾 print(re.findall('a[^1*-]b','a1b a*b a-b a=b')) #[]内的^代表的意思是取反，所以结果为['a=b'] print(re.findall('a[0-9]b','a1b a*b a-b a=b')) #[]内的^代表的意思是取反，所以结果为['a=b'] print(re.findall('a[a-z]b','a1b a*b a-b a=b aeb')) #[]内的^代表的意思是取反，所以结果为['a=b'] print(re.findall('a[a-zA-Z]b','a1b a*b a-b a=b aeb aEb')) #[]内的^代表的意思是取反，所以结果为['a=b']
