调整格式化nginx日志时间方式

1 需求

    前端在项目的一些页面做了js脚本埋点，以获取用户访问站点的相关信息，比如，用户页面停留时长，用户id，访问的产品id等。然后会从nginx日志里面提取这些信息为json格式，但是nginx 日志时间变量可配置的就两种

第一个时间变量：$time_local   输出格式为：127.0.0.1 - - [03/Nov/2020:14:38:06 +0800] "GET / HTTP/1.1" 200 23 "-" "curl/7.29.0"

第二个时间变量：$time_iso8601  输出格式为： 127.0.0.1 - - [2020-11-03T14:42:53+08:00] "GET / HTTP/1.1" 200 23 "-" "curl/7.29.0" "-"

 

然而希望的时间格式是：  2020-11-03 14:46:44

大概查了下可以实现的方案：

1、修改nginx 日志模块的源码   参考：https://www.cnblogs.com/t-road/p/6868683.html

2、启用lua模块  参考：https://developer.aliyun.com/article/69512

3、python datetime模块转换

4、第一种时间变量格式的值可以用数据库的函数str_to_date转换 str_to_date('%s','%s')   str_to_date('02/Nov/2020:07:07:05','%d/%b/%Y:%H:%i:%s')

 

由于生产是yum方式安装的，前两种方案比较麻烦，且有点小风险，因为需要重新编译。反正都需要对日志做处理的，就用date命令来转换上面的两种格式

 

2 测试date命令转换

2.1 $time_local格式测试

[root@msht-sh-g-test-01 ~]# date -d '03/Nov/2020:14:38:06' "+%Y-%m-%d %H:%M:%S"
date: invalid date ‘03/Nov/2020:14:38:06’
[root@msht-sh-g-test-01 ~]# 

这种格式date命令无法识别

 

2.2 $time_iso8601格式测试

[root@msht-sh-g-test-01 ~]# date -d '2020-11-03T14:45:06+08:00' "+%Y-%m-%d %H:%M:%S"
2020-11-03 14:45:06
[root@msht-sh-g-test-01 ~]# 

这种能达到预期

 

因此，在nginx的日志时间变量定义为$time_iso8601，再用date转换一次就可以，不需要重新编译nginx带来的风险；如果不希望额外用date命令或python来转的话，修改nginx源码更合适。

 

3 模拟脚本里面的操作

[root@msht-sh-g-test-01 ~]# line='127.0.0.1 - - 2020-11-03T14:46:44+08:00 "GET / HTTP/1.1" 200 23 "-" "curl/7.29.0" "-"'
[root@msht-sh-g-test-01 ~]# str_date=$(echo $line|awk '{print $4}')
[root@msht-sh-g-test-01 ~]# format_date=$(date -d $str_date "+%Y-%m-%d %H:%M:%S")
[root@msht-sh-g-test-01 ~]# echo $format_date
2020-11-03 14:46:44
[root@msht-sh-g-test-01 ~]# printf '{"request_time":"%s %s"}\n' $format_date
{"request_time":"2020-11-03 14:46:44"}
[root@msht-sh-g-test-01 ~]# 

 

小提示：由于printf会接收格式参数是以空格分割的，上面格式化后的变量中的值有空格，printf会把2020-11-03当成一个格式化值，另外一部分14:45:06 会重新当成一个值，类似下面这种

[root@msht-sh-g-test-01 ~]# line='127.0.0.1 - - 2020-11-03T14:46:44+08:00 "GET / HTTP/1.1" 200 23 "-" "curl/7.29.0" "-"'
[root@msht-sh-g-test-01 ~]# str_date=$(echo $line|awk '{print $4}')
[root@msht-sh-g-test-01 ~]# format_date=$(date -d $str_date "+%Y-%m-%d %H:%M:%S")
[root@msht-sh-g-test-01 ~]# echo $format_date
2020-11-03 14:46:44
[root@msht-sh-g-test-01 ~]# printf '{"request_time":"%s"}\n' $format_date
{"request_time":"2020-11-03"}
{"request_time":"14:46:44"}
[root@msht-sh-g-test-01 ~]# 
[root@msht-sh-g-test-01 ~]# printf '{"request_time":"%s %s"}\n' $format_date
{"request_time":"2020-11-03 14:46:44"}
[root@msht-sh-g-test-01 ~]# 

 

因此需要写两个 %s 来接收后面那一个变量里面的值。