摘要: 在工作过程中,我们难免会遇到这样的问题,我们想保存一些数据,但是我们对这些数据的要求并不高,有时候往往只是想要某个时间范围内的数据,比如我们如果永远只关心从当前时间往前推半年内的数据特性,那么我们就不需要将所有数据都保存起来,因为不仅浪费磁盘空间,而且随着数据量的不断累积,其他性能也会受到影响。 这 阅读全文
posted @ 2018-02-03 20:22 鸾舞春秋 阅读(253) 评论(0) 推荐(0) 编辑
摘要: kibana做图表无法选取需要选的字段,即通过term的方式过滤选择某一个field时发现列表里无此选项。 再去discover里看,发现此字段前面带有问号,点击后提示这个字段未做索引,不能用于visualize和discover的搜索。 思考: 从源头查起,日志是logstash收集上来的,猜想可 阅读全文
posted @ 2018-02-03 18:36 鸾舞春秋 阅读(1574) 评论(0) 推荐(0) 编辑
摘要: 合并多行以[为头 multiline:pattern: '^\['negate: truematch: after 过滤掉某行 filebeat.prospectors:- type: log paths: - /ali/logs/*.out multiline: pattern: '^\[' ne 阅读全文
posted @ 2018-02-03 16:11 鸾舞春秋 阅读(1169) 评论(0) 推荐(0) 编辑
摘要: 例如: echo '[2018/02/02 08:34:43.032]' >> tomcat_catalina.out 过滤方式 "message" => "\[(?<log_time>%{NOTSPACE}%{SPACE}%{NOTSPACE})\]" { "log_time" => "2018/ 阅读全文
posted @ 2018-02-03 15:10 鸾舞春秋 阅读(537) 评论(0) 推荐(0) 编辑