Logstash——Aggregate Filter Plugin
摘要：前言 此过滤器的目的是聚合属于同一任务的多个事件（通常是日志行）中的可用信息，并最终将聚合信息推送到最终任务事件中。 有以下几种使用场景： 无启动和结束事件 无启动事件 无结束事件 无结束事件，任务接踵而至 无有结束事件和尽快推送事件 各种场景的使用方式，请参考官网：aggregate filter
阅读全文
posted @ 2022-08-06 17:25
随笔分类 - Logstash
Logstash——利用Kafka Group实现高可用
摘要：日志架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kafka里边的数据，分别写入Elasticsearch和Hadoop，最后使用Kibana输出到web端供相关人员查看，或者是由Spark接手进入更深层次的分析。 在以上整个架
阅读全文
posted @ 2020-04-13 15:41
Logstash——核心解析插件Grok
摘要：前言 通常来说，各种日志的格式都比较灵活复杂比如nginx访问日志或者并不纯粹是一行一事件比如java异常堆栈，而且还不一定对大部分开发或者运维那么友好，所以如果可以在最终展现前对日志进行解析并归类到各个字段中，可用性会提升很多。 grok过滤器插件就是用来完成这个功能的。默认可用。 grok的主要
阅读全文
posted @ 2020-03-27 10:22
Logstash——条件判断
摘要：前言 有时您只想在特定条件下过滤或输出事件。为此，您可以使用条件（conditional）。比如在elk系统中想要添加一个type类型的关键字来根据不同的条件赋值，最后好做统计。 条件语法 if EXPRESSION { ... } else if EXPRESSION { ... } else {
阅读全文
posted @ 2020-03-27 10:19
Logstash——解析各类日志文件
摘要：原理 使用filebeat来上传日志数据，logstash进行日志收集与处理，elasticsearch作为日志存储与搜索引擎，最后使用kibana展现日志的可视化输出。所以不难发现，日志解析主要还是logstash做的事情。 从上图中可以看到，logstash主要包含三大模块： INPUTS: 收
阅读全文
posted @ 2020-03-27 10:18
ElasticSearch、Logstash管理和监控——blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]
摘要：1、某一天出现Kafka堆积大量未消费的记录： 2、该主题是用logstash进行消费的，然后查询logstash的日志（logstash/logs/logstash-plain.log），出现以下提示信息： 3、从上述日志可以看出，是输出到elasticsearch阻塞了，原因是相应的索引变成re
阅读全文
posted @ 2019-11-07 09:56
ElasticSearch——自定义模板
摘要：output中配置 elasticsearch{ action => "index" hosts => ["xxx"] index => "http-log-logstash" document_type => "logs" template => "opt/http-logstash.json"
阅读全文
posted @ 2019-11-04 12:24
ElasticSearch——Logstash输出到Elasticsearch配置
摘要：位置 在Logstash的.conf配置文件中的output中配置ElasticSearch 示例： output { elasticsearch{ action => "index" index => "%{[fields][product_type]}-transaction-%{+YYYY-M
阅读全文
posted @ 2019-11-04 12:10
