随笔分类 - elk
摘要：当我们做可视化图时，有时我们想为自己的图添加一条静态线。这条线的作用是用来表示在什么位置的统计数据是高于这个值的或低于这个值的。我们知道在通常的情况下，我们一般的可视化图是不可以做到这一点的。我们需要使用 TSVB 来说实现这个。比如，使用下图的红线，它清楚地表明了在什么时候统计数据是大于20的。我
阅读全文
摘要：[2019-06-16T15:31:22,778][DEBUG][o.e.a.a.c.n.i.TransportNodesInfoAction] [node-xxx] failed to execute on node [kQrOKwMhSZy8O42Hgs6sdg] org.elasticsear
阅读全文
摘要：原因为：es 的设置默认是 85% 和 90 %，95% 当为85%时：Elasticsearch不会将碎片分配给磁盘使用率超过85%的节点（ cluster.routing.allocation.disk.watermark.low） 当为90%时：Elasticsearch尝试重新分配给磁盘低于
阅读全文
摘要：原因：单点单节点部署Elasticsearch, 集群状态可能为yellow, 因为单点部署Elasticsearch, 默认的分片副本数目配置为1，而相同的分片不能在一个节点上，所以就存在副本分片指定不明确的问题，所以显示为yellow，可以通过在Elasticsearch集群上添加一个节点来解决
阅读全文
摘要：Logstash启动监控 配置文件：logstash.yml xpack.monitoring.enabled: true xpack.monitoring.elasticsearch.username: logstash_system # 系统自带的用户 xpack.monitoring.elas
阅读全文
摘要：logstash时间戳@timestamp修改为北京时间 input { beats { port => "5044" } } filter { grok { match => [ # 此处的^A为vim下的CTRL+A "message", "time\^B%{INT:timestamp}\^Ai
阅读全文
摘要：在前面的一篇文章“Logstash：处理多个input”中，我们介绍了如何使用在同一个配置文件中处理两个input的情况。在今天这篇文章中，我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeli
阅读全文
摘要：我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。
阅读全文
摘要：ElastAlert介绍 在日志管理上我们使用Elasticsearch，Logstash和Kibana技术栈来管理不断增长的数据和日志，但是对于错误日志的监控ELK架构并没有提供，所以我们需要使用到第三方工具ElastAlert，来帮助我们及时发现业务中存在的问题。 ElastAlert通过定期查
阅读全文
摘要：prometheus监控es，同样采用exporter的方案。 项目地址： elasticsearch_exporter：https://github.com/justwatchcom/elasticsearch_exporter 1、安装部署 现有es三节点的集群，环境大概如下： 主机 组件 19
阅读全文
摘要：我们先来看一下如下的一个日志： 157.97.192.70 2019 09 29 00:39:02.912 myserver Process 107673 Initializing 在上面的日志中，我们可以看到一个日期信息：2019 09 29 00:39:02.912。它是被空格字符串所分开，如果
阅读全文
摘要：Transforms 使您能够从 Elasticsearch 索引中检索信息，对其进行转换并将其存储在另一个索引中。 使您能够透视数据并创建以实体为中心的索引，这些索引可以汇总实体的行为。 这会将数据组织成易于分析的格式。让我们使用Kibana示例数据来演示如何使用变换来透视和汇总数据。 准备数据
阅读全文
摘要：在解决应用程序问题时，多行日志为开发人员提供了宝贵的信息。 堆栈跟踪就是一个例子。 堆栈跟踪是引发异常时应用程序处于中间的一系列方法调用。 堆栈跟踪包括遇到错误的相关行以及错误本身。 可以在此处查看Java堆栈跟踪的示例： Exception in thread "main" java.lang.N
阅读全文
摘要：标准输出(Stdout) 和之前 inputs/stdin 插件一样，outputs/stdout 插件也是最基础和简单的输出插件。同样在这里简单介绍一下，作为输出插件的一个共性了解。 output { stdout { codec => rubydebug workers => 2 } } 输出插
阅读全文
摘要：数据修改(Mutate) filters/mutate 插件是 Logstash 另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换，字符串处理和字段处理等。 类型转换 类型转换是 filters/mutate 插件最初诞生时的唯一功能。其应用场景在之前 Codec/JSON 小节已经
阅读全文
摘要：1、直接在配置文件中自定义的时间格式 这是tomcat配置文件中的一段日志时间配置，按照这样的配置，那么输出的日志是这样子的： "timestamp" ： "2019-12-11 10:11:12 +0800" 然后你继续在logstash中这样子配置 date { match => [ "time
阅读全文
摘要：gem source --remove https://rubygems.org/gem source -a https://gems.ruby-china.com/gem source -lgem source -u
阅读全文
摘要：安装插件 cd $LOGSTASH_HOME./bin/logstash-plugin install logstash-filter-multiline 合并多行数据(Multiline) input { stdin { codec =>multiline { charset=>... #可选 字
阅读全文
摘要：读取文件 Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径，而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以，不要担心 logstash 会漏过你的数据。 sincedb 文件中记
阅读全文
摘要：filebeat配置 #表示的是会把 service作为fields的二级字段filebeat.inputs: - type: log enabled: true paths: - /var/log/aa.log fields: service: aa - type: log enabled: tr
阅读全文
