曹伟雄

摘要： 前言 ........... 工作原理 Filebeat由两个主要组件组成， prospectors和harvesters，他们一起协作tail文件并将事件发送给声明的输出。 harvester的职责是以行为单位读取文件，发送给输出，每个文件由不同的harvester读取。 prospector的职 阅读全文

摘要： 前言 通常来说，各种日志的格式都比较灵活复杂比如nginx访问日志或者并不纯粹是一行一事件比如java异常堆栈，而且还不一定对大部分开发或者运维那么友好，所以如果可以在最终展现前对日志进行解析并归类到各个字段中，可用性会提升很多。 grok过滤器插件就是用来完成这个功能的。默认可用。 grok的主要 阅读全文

摘要： 前言 有时您只想在特定条件下过滤或输出事件。为此，您可以使用条件（conditional）。比如在elk系统中想要添加一个type类型的关键字来根据不同的条件赋值，最后好做统计。 条件语法 if EXPRESSION { ... } else if EXPRESSION { ... } else { 阅读全文

摘要： 原理 使用filebeat来上传日志数据，logstash进行日志收集与处理，elasticsearch作为日志存储与搜索引擎，最后使用kibana展现日志的可视化输出。所以不难发现，日志解析主要还是logstash做的事情。 从上图中可以看到，logstash主要包含三大模块： INPUTS: 收 阅读全文