06 2020 档案

摘要:ElastAlert介绍 在日志管理上我们使用Elasticsearch,Logstash和Kibana技术栈来管理不断增长的数据和日志,但是对于错误日志的监控ELK架构并没有提供,所以我们需要使用到第三方工具ElastAlert,来帮助我们及时发现业务中存在的问题。 ElastAlert通过定期查 阅读全文
posted @ 2020-06-19 11:42 fat_girl_spring 阅读(960) 评论(0) 推荐(0) 编辑
摘要:prometheus监控es,同样采用exporter的方案。 项目地址: elasticsearch_exporter:https://github.com/justwatchcom/elasticsearch_exporter 1、安装部署 现有es三节点的集群,环境大概如下: 主机 组件 19 阅读全文
posted @ 2020-06-16 18:11 fat_girl_spring 阅读(4163) 评论(0) 推荐(1) 编辑
摘要:我们先来看一下如下的一个日志: 157.97.192.70 2019 09 29 00:39:02.912 myserver Process 107673 Initializing 在上面的日志中,我们可以看到一个日期信息:2019 09 29 00:39:02.912。它是被空格字符串所分开,如果 阅读全文
posted @ 2020-06-15 17:18 fat_girl_spring 阅读(655) 评论(0) 推荐(0) 编辑
摘要:Transforms 使您能够从 Elasticsearch 索引中检索信息,对其进行转换并将其存储在另一个索引中。 使您能够透视数据并创建以实体为中心的索引,这些索引可以汇总实体的行为。 这会将数据组织成易于分析的格式。让我们使用Kibana示例数据来演示如何使用变换来透视和汇总数据。 准备数据 阅读全文
posted @ 2020-06-11 11:50 fat_girl_spring 阅读(1496) 评论(0) 推荐(0) 编辑
摘要:在解决应用程序问题时,多行日志为开发人员提供了宝贵的信息。 堆栈跟踪就是一个例子。 堆栈跟踪是引发异常时应用程序处于中间的一系列方法调用。 堆栈跟踪包括遇到错误的相关行以及错误本身。 可以在此处查看Java堆栈跟踪的示例: Exception in thread "main" java.lang.N 阅读全文
posted @ 2020-06-10 15:32 fat_girl_spring 阅读(3420) 评论(0) 推荐(0) 编辑
摘要:标准输出(Stdout) 和之前 inputs/stdin 插件一样,outputs/stdout 插件也是最基础和简单的输出插件。同样在这里简单介绍一下,作为输出插件的一个共性了解。 output { stdout { codec => rubydebug workers => 2 } } 输出插 阅读全文
posted @ 2020-06-08 11:29 fat_girl_spring 阅读(1044) 评论(0) 推荐(0) 编辑
摘要:数据修改(Mutate) filters/mutate 插件是 Logstash 另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换,字符串处理和字段处理等。 类型转换 类型转换是 filters/mutate 插件最初诞生时的唯一功能。其应用场景在之前 Codec/JSON 小节已经 阅读全文
posted @ 2020-06-04 18:32 fat_girl_spring 阅读(1447) 评论(0) 推荐(0) 编辑
摘要:1、直接在配置文件中自定义的时间格式 这是tomcat配置文件中的一段日志时间配置,按照这样的配置,那么输出的日志是这样子的: "timestamp" : "2019-12-11 10:11:12 +0800" 然后你继续在logstash中这样子配置 date { match => [ "time 阅读全文
posted @ 2020-06-04 16:49 fat_girl_spring 阅读(2050) 评论(0) 推荐(0) 编辑
摘要:gem source --remove https://rubygems.org/gem source -a https://gems.ruby-china.com/gem source -lgem source -u 阅读全文
posted @ 2020-06-04 14:22 fat_girl_spring 阅读(307) 评论(0) 推荐(0) 编辑
摘要:安装插件 cd $LOGSTASH_HOME./bin/logstash-plugin install logstash-filter-multiline 合并多行数据(Multiline) input { stdin { codec =>multiline { charset=>... #可选 字 阅读全文
posted @ 2020-06-04 13:53 fat_girl_spring 阅读(405) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示