kibana上传日志时间与日志里面的时间不同

中间加了一层转换,日志从filebeat采集进入logstash,然后将日志中的时间字段覆盖到es的@timestamp字段,kibana会将这个字段当做是日志的上传时间

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
input {
  beats {
    port => 10515
  }
}
 
filter{
  if "xxx" in [tags]{
    grok {
        match => ["message","%{TIMESTAMP_ISO8601:log.date}"]
    }
    date {
        match => ["log.date", "yyyy-MM-dd HH:mm:ss,SSS"]
        target => "@timestamp"
    }
  }
  if "xxx" in [tags]{
    grok {
        match => ["message","%{TIMESTAMP_ISO8601:timestamp8601}"]
    }
    date {
        match => ["timestamp8601", "yyyy-MM-dd HH:mm:ss.SSS"]
        target => "@timestamp"
    }
  }
  if "xxx" in [tags]{
    grok {
        match => ["message","%{TIMESTAMP_ISO8601:timestamp8601}"]
    }
    date {
        match => ["timestamp8601", "yyyy-MM-dd HH:mm:ss.SSS"]
        target => "@timestamp"
    }
  }
 
}
 
output {
  if "xxx" in [tags]{
     elasticsearch {
       hosts => ["http://xxx:9200"]
       #index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
       index => "xxx-%{+YYYY.MM}"
       user => "xxx"
       password => "xxx"
     }
  }
 
  if "xxx" in [tags]{
     elasticsearch {
       hosts => ["http://xxx:9200"]
       #index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
       index => "xxx-%{+YYYY.MM}"
       user => "xxx"
       password => "xxx"
     }
  }
  if "xxx" in [tags]{
     elasticsearch {
       hosts => ["http://xxx:9200"]
       #index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
       index => "xxx-%{+YYYY.MM}"
       user => "xxx"
       password => "xxx"
     }
  }
 
}

  

posted @   JvvYou  阅读(402)  评论(0编辑  收藏  举报
编辑推荐:
· 软件产品开发中常见的10个问题及处理方法
· .NET 原生驾驭 AI 新基建实战系列:向量数据库的应用与畅想
· 从问题排查到源码分析:ActiveMQ消费端频繁日志刷屏的秘密
· 一次Java后端服务间歇性响应慢的问题排查记录
· dotnet 源代码生成器分析器入门
阅读排行:
· ThreeJs-16智慧城市项目(重磅以及未来发展ai)
· .NET 原生驾驭 AI 新基建实战系列(一):向量数据库的应用与畅想
· Ai满嘴顺口溜,想考研?浪费我几个小时
· Browser-use 详细介绍&使用文档
· 软件产品开发中常见的10个问题及处理方法
点击右上角即可分享
微信分享提示