合集-ELK
摘要：最近因为运维平台旧日志管理平台的瓶颈似乎已经出现，在出现问题的时候想要查询日志发现速度没有那么快，所以对现有的架构想做出一些修改，这里为了记录查找的一些资料和本次的相关修改。 1.ELK架构 （1）平台架构如下图： 在整个平台中，各计算节点和管理节点间安装filebeat进行数据收集和数据索引创建，
阅读全文
摘要：logstash的工作原理 logstash时间处理管道有三个阶段：输入 -> 过滤器 -> 输出。输入生成事件，过滤器修改它们，输出将它们发送到其它地方。输入和输出支持编码解码器，使我们能够在数据进入或退出管道时对数据进行编码和解码，而无需使用单独的过滤器。 输入input 你使用输入将数据导入l
阅读全文
摘要：简单概括下几点在YAML型配置文件中需要注意的点： （1）使用空格进行缩进 （2）查看结果的默认配置文件 查看提供的示例配置文件时了解配置选项的最佳方法。 （3）测试配置文件 可以测试配置文件以验证结构是否有效，只需要更改安装二进制文件的目录，然后使用test config指定的命令在前台运行。如：
阅读全文
摘要：配置日志 配置文件filebeat.yml中的logging部分包含用于配置日志记录输出的选项。日志记录系统可用将日志写入syslog，如果未明确配置日志记录，则使用文件输出。 tip：除了在配置文件汇总设置日志记录选项外，还可以从命令行修改日志记录输出配置。 配置选项： 你可以在配置文件fileb
阅读全文
摘要：加载Elasticsearch索引模板 配置文件的setup.template部分filebeat.yml指定用于在Elasticsearch中设置映射的索引模板，如果启用了模板加载（默认设置），则filebeat会在成功连接到Elasticsearch后自动加载索引模板。 note：加载索引模板需
阅读全文
摘要：定义处理器 在filebeat将数据发送到配置的输出之前，可以使用处理器来过滤和增强数据。要定义处理器，需要制定处理器名称，可选条件和一组参数： 处理器再哪里有效？ 处理器所处位置： 1）在配置的顶层，处理器应用于filebeat收集的所有数据 2）在具体的输入下，处理器应用于为该输入收集的数据，e
阅读全文
