django的日志发往http server
配置示例：
# https://docs.djangoproject.com/zh-hans/2.1/topics/logging/ LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'formatters': { # 格式器 'verbose': { # 后缀d表示数据格式是整数，s表示数据格式是字符串 'format': '[%(levelname)s] [%(asctime)s] [%(module)s] %(filename)s:%(lineno)d %(funcName)s ' '%(processName)s:[%(process)d] %(threadName)s:[%(thread)d] %(message)s' # 'format': '{levelname} {asctime} {module} {process:d} {thread:d} {message}', # 'style': '{', }, 'simple': { 'format': '[%(levelname)s] [%(asctime)s] %(message)s', # 'format': '[%(asctime)s] %(message)s', # 后缀d表示数据格式是整数，s表示数据格式是字符串 # 'format': '[%(levelname)s] [%(asctime)s] [%(module)s] %(filename)s:%(lineno)d %(funcName)s ' # '%(processName)s:[%(process)d] %(threadName)s:[%(thread)d] %(message)s', # 'style': '{', }, 'standard': { # 'format': '%(asctime)s [%(levelname)s] %(name)s: %(message)s', 'format': '{asctime} [{levelname:6}] {name:30}: {message}', # 设置上面格式样式;{lineno:3}是行号，至少显示3个字符，少则补空格 # 这里style选择{，是指{asctime}这种形式。 # 如果选择%，则是%(asctime)s这种形式。 # 还有一种选择，是$，是$asctime或${asctime}这种形式。 'style': '{', # 设置时间格式 'datefmt': '%Y-%m-%d %H:%M:%S', }, 'operation': { 'format': '%(message)s' } }, # 'filters': { # # 'special': { # # '()': 'erebus.logging.SpecialFilter', # # 'foo': 'bar', # # }, # 'require_debug_true': { # '()': 'django.utils.log.RequireDebugTrue', # }, # }, # Handler是决定如何处理logger中每一条消息的引擎。它描述特定的日志行为，比如把消息输出到屏幕、文件或网络socket。 # 和 logger 一样，handler 也有日志级别的概念。如果一条日志记录的级别不匹配或者低于 handler 的日志级别， # 对应的消息会被 handler 忽略。 'handlers': { # 处理器 'default': { 'level': 'DEBUG', 'class': 'logging.handlers.RotatingFileHandler', 'filename': 'logs/default.log', 'maxBytes': 1024*1024*5*20, # 5*20 MB # 'maxBytes': 1024*5, # 5 KB # 保留7天的日志，没份5M，5份大概是一个小时的日志内容，主要是kafka日志 'backupCount': int(5*1*24*7/20), 'formatter': 'standard', }, 'kafka': { 'level': 'DEBUG', 'class': 'logging.handlers.RotatingFileHandler', 'filename': 'logs/kafka.log', 'maxBytes': 1024*1024*5*20, # 5*20 MB # 'maxBytes': 1024*5, # 5 KB # 保留7天的日志，没份5M，5份大概是一个小时的日志内容，主要是kafka日志 'backupCount': int(5*1*24*7/20), 'formatter': 'standard', }, 'output_to_server': { # 输出到http server，参数来自类HTTPHandler初始化函数里的参数 'level': 'WARNING', # 忽略debug/info信息 'class': 'logging.handlers.HTTPHandler', 'host': '127.0.0.1:8088', 'url': '/api/v1/log', # 使用GET方法遇到url最大长度限制 'method': 'POST', 'formatter': 'verbose', }, 'django': { 'level': 'INFO', # 忽略debug信息 'class': 'logging.FileHandler', 'filename': '{}/{}.log'.format(BASE_LOG_DIR, conf.get('log', 'name')), 'formatter': 'simple' if DEBUG else 'verbose', 'encoding': 'utf8', }, 'console': { 'level': 'DEBUG', # 所有的日志都会被输出到console # 'filters': ['require_debug_true'], 'class': 'logging.StreamHandler', 'formatter': 'simple' }, 'operation': { 'level': 'INFO', 'class': 'logging.FileHandler', 'filename': '{}/{}.log'.format(BASE_LOG_DIR, 'operation'), 'formatter': 'operation', 'encoding': 'utf8' }, 'test': { 'level': 'INFO', 'class': 'logging.FileHandler', 'filename': '{}/{}.log'.format(BASE_LOG_DIR, 'test'), 'formatter': 'standard', 'encoding': 'utf8' } # 'mail_admins': { # 'level': 'ERROR', # 'class': 'django.utils.log.AdminEmailHandler', # # 'filters': ['special'] # } }, 'loggers': { # 记录器 # 可以通过使用空字符串：''来设置'catch all' logger # 在以下设置中，将所有日志事件级别为WARNING及以上的日志发送给日志服务器，但配置为'propagate': False日志事件除外， '': { 'handlers': ['default', 'output_to_server'], # 这样情况下的level设置是无效的,所有级别的信息都会传给handlers处理，由handlers的level界别决定 'level': 'ERROR', 'propagate': False }, # 记录所有kakfa相关的日志 'kafka': { 'handlers': ['kafka'], 'level': 'DEBUG', 'propagate': True }, # 这里必须使用名字django和django.request，目的是为了捕获django框架的日志内容 'django': { 'handlers': ['django', 'console'], # 当 logger 处理一条消息时，会将自己的日志级别和这条消息的日志级别做对比。 # 如果消息的日志级别匹配或者高于 logger 的日志级别，它就会被进一步处理。 # 否则这条消息就会被忽略掉。当 logger 确定了一条消息需要处理之后，会把它传给 Handler。 # 把INFO及以上级别的日志传给handlers，然后由handlers根据handlers的level进一步处理日志输出 'level': 'INFO', 'propagate': True, # 若值为False，表示日志不会传到上个层级，自然也不会传到default.log里 }, # 使用logger = logging.getLogger('django.request'), logger.info('info')， # 可以把日志输出到'handlers': ['django', 'console'], 'django.request': { # 即使和django的handlers一样，level也一样，也并不会产生2次相同的日志内容，应该是个并集。 'handlers': ['django', 'console'], 'level': 'DEBUG', # 会把日志向django.request的上层django传播 'propagate': True, }, # sql语句 'django.db.backends': { # 即使和django的handlers一样，level也一样，也并不会产生2次相同的日志内容，应该是个并集。 'handlers': ['django', 'console'], 'level': 'DEBUG', # 会把日志向django.request的上层django传播 'propagate': True, }, # 'erebus.custom': { # 'handlers': ['console', 'mail_admins'], # 'level': 'INFO', # # 'filters': ['special'] # }, # 名字随意起，用时，使用logger = logging.getLogger(conf.get('log', 'name'))获取，传到相应的loggers里就可以 'operation': { 'handlers': ['operation'], 'level': 'INFO', 'propagate': True, }, 'test': { 'handlers': ['console', 'test'], 'level': 'INFO', 'propagate': False, # 不要传给上一层级 } } }
查看使用的class HTTPHandler，注意参数对应
class HTTPHandler(logging.Handler): """ A class which sends records to a Web server, using either GET or POST semantics. """ def __init__(self, host, url, method="GET", secure=False, credentials=None, context=None): """ Initialize the instance with the host, the request URL, and the method ("GET" or "POST") """ logging.Handler.__init__(self) method = method.upper() if method not in ["GET", "POST"]: raise ValueError("method must be GET or POST") if not secure and context is not None: raise ValueError("context parameter only makes sense " "with secure=True") self.host = host self.url = url self.method = method self.secure = secure self.credentials = credentials self.context = context def mapLogRecord(self, record): """ Default implementation of mapping the log record into a dict that is sent as the CGI data. Overwrite in your class. Contributed by Franz Glasner. """ return record.__dict__ def emit(self, record): """ Emit a record. Send the record to the Web server as a percent-encoded dictionary """ try: import http.client, urllib.parse host = self.host if self.secure: h = http.client.HTTPSConnection(host, context=self.context) else: h = http.client.HTTPConnection(host) url = self.url data = urllib.parse.urlencode(self.mapLogRecord(record)) if self.method == "GET": if (url.find('?') >= 0): sep = '&' else: sep = '?' url = url + "%c%s" % (sep, data) h.putrequest(self.method, url) # support multiple hosts on one IP address... # need to strip optional :port from host, if present i = host.find(":") if i >= 0: host = host[:i] # See issue #30904: putrequest call above already adds this header # on Python 3.x. # h.putheader("Host", host) if self.method == "POST": h.putheader("Content-type", "application/x-www-form-urlencoded") h.putheader("Content-length", str(len(data))) if self.credentials: import base64 s = ('%s:%s' % self.credentials).encode('utf-8') s = 'Basic ' + base64.b64encode(s).strip().decode('ascii') h.putheader('Authorization', s) h.endheaders() if self.method == "POST": h.send(data.encode('utf-8')) h.getresponse() #can't do anything with the result except Exception: self.handleError(record)
参考：https://cloud.tencent.com/developer/ask/183866
