随笔分类 - log
摘要：有些既存的项目把一部分日志信息写入到数据库中了，或者是由于其它的原因我们希望把关系型数据库中的信息读取到 elasticsearch 中。这种情况可以使用 logstash 的 jdbc input 插件从关系型数据库中读取日志数据，然后输出到 elasticsearch 中。本文介绍如何在 win
阅读全文
摘要：到目前为止，logstash 没有给出官方的，在 windows 系统中作为后台服务运行的方式。本文将介绍如何使用第三方工具 nssm 让 logstash 作为后台服务运行在 windows 中。说明：演示的环境为 windows server 2016，logstash 的版本为 6.2.4。
阅读全文
摘要：需求：收集 ubuntu 系统日志，发送给 logstash，再由 logstash 把数据传递给 elasticsearch，最后通过 kibana 展示日志数据。 Filebeat System Module Filebeat Modules 可以简化常见日志格式的收集、解析和可视化。一个典型的
阅读全文
摘要：Elasticsearch 的安装非常简单，笔者在前文《单机部署 ELK》中已经介绍过了，本文主要介绍集群的配置，并解释常见配置参数的含义。 要配置集群，最简单的情况下，设置下面几个参数就可以了： 本文的演示环境为 Ubuntu Server 18.04，Elasticsearch 的版本为 6.2
阅读全文
摘要：本文简单介绍一下 Logstash 的过滤插件 grok。 Grok 的主要功能 Grok 是 Logstash 最重要的插件。它可以解析任意文本并把它结构化。因此 Grok 是将非结构化的日志数据解析为可查询的结构化数据的好方法。这个工具非常适合 syslog 日志、apache 和其他 web
阅读全文
摘要：配置文件本身非常脆弱！所以修改配置文件自然会引入部署失败的风险。如果能够对配置文件进行自动化测试将会极大的降低这种风险。本文将介绍一个可以自动化测试 logstash 配置文件的工具，让大家可以像写单元测试用例一样为 logstash 配置文件创建测试 case，并以快速迭代的方式变更 logsta
阅读全文
摘要：对于一个体量不大的系统，运行在单机上的 ELK 就足以胜任日志的处理任务了。本文介绍如何在单台服务器上安装并配置 ELK(elalasticsearch + logstash + kibana)，并最终通过 filebeat 把日志数据发送给日志服务器(ELK)。整体的架构如下图所示(此图来自互联网
阅读全文
