随笔分类 - elk
摘要：有些既存的项目把一部分日志信息写入到数据库中了，或者是由于其它的原因我们希望把关系型数据库中的信息读取到 elasticsearch 中。这种情况可以使用 logstash 的 jdbc input 插件从关系型数据库中读取日志数据，然后输出到 elasticsearch 中。本文介绍如何在 win
阅读全文
摘要：到目前为止，logstash 没有给出官方的，在 windows 系统中作为后台服务运行的方式。本文将介绍如何使用第三方工具 nssm 让 logstash 作为后台服务运行在 windows 中。说明：演示的环境为 windows server 2016，logstash 的版本为 6.2.4。
阅读全文
摘要：需求：收集 ubuntu 系统日志，发送给 logstash，再由 logstash 把数据传递给 elasticsearch，最后通过 kibana 展示日志数据。 Filebeat System Module Filebeat Modules 可以简化常见日志格式的收集、解析和可视化。一个典型的
阅读全文
摘要：作为生产者和消费者之间数据流的一个中心组件，需要一个 Logstash 实例负责驱动多个并行事件流的情况。默认情况下，这样的使用场景的配置让人并不太开心，使用者会遭遇所谓的条件地狱(Conditional hell)。因为每个单独的 Logstash 实例默认支持一个管道，该管道由一个输入、若干个过
阅读全文
摘要：使用 date 插件解析字段中的日期，然后使用该日期或时间戳作为事件的 logstash 时间戳。对于排序事件和导入旧数据，日期过滤器尤其重要。如果您在事件中没有得到正确的日期，那么稍后搜索它们可能会出现问题。 如果时间戳尚未在事件中设置，logstash 将根据第一次看到事件(在输入时)创建一个时
阅读全文
摘要：Elasticsearch 的安装非常简单，笔者在前文《单机部署 ELK》中已经介绍过了，本文主要介绍集群的配置，并解释常见配置参数的含义。 要配置集群，最简单的情况下，设置下面几个参数就可以了： 本文的演示环境为 Ubuntu Server 18.04，Elasticsearch 的版本为 6.2
阅读全文
摘要：本文简单介绍一下 Logstash 的过滤插件 grok。 Grok 的主要功能 Grok 是 Logstash 最重要的插件。它可以解析任意文本并把它结构化。因此 Grok 是将非结构化的日志数据解析为可查询的结构化数据的好方法。这个工具非常适合 syslog 日志、apache 和其他 web
阅读全文
摘要：配置文件本身非常脆弱！所以修改配置文件自然会引入部署失败的风险。如果能够对配置文件进行自动化测试将会极大的降低这种风险。本文将介绍一个可以自动化测试 logstash 配置文件的工具，让大家可以像写单元测试用例一样为 logstash 配置文件创建测试 case，并以快速迭代的方式变更 logsta
阅读全文
摘要：对于一个体量不大的系统，运行在单机上的 ELK 就足以胜任日志的处理任务了。本文介绍如何在单台服务器上安装并配置 ELK(elalasticsearch + logstash + kibana)，并最终通过 filebeat 把日志数据发送给日志服务器(ELK)。整体的架构如下图所示(此图来自互联网
阅读全文
