Logstash日志解析的Grok模式详解
摘要:1.Grok filter入门 有效分析和查询送入Elastic Stack的数据的能力取决于信息的可读性。 这意味着,当将非结构化数据摄取到系统中时,必须将其转换为结构化数据。 通常,这个至关重要的任务留给Logstash(尽管还有其他日志传送器可用,比如 Fluentd)。无论你定义什么数据源,
阅读全文
posted @
2022-05-30 15:41
jiayou111
阅读(9723)
推荐(1) 编辑
ELK学习笔记
摘要:目录第1章 Kibana1.1 配置安装1.2 功能说明1.3 数据探索1.4 Metricbeat仪表盘1.5 Nginx指标仪表盘1.6 Nginx日志仪表盘1.7 kibana自定义图表1.8 开发者工具1.9 kibana监控es集群第2章 Nginx日志分析系统2.1 项目需求2.2 业务
阅读全文
posted @
2022-05-30 15:30
jiayou111
阅读(316)
推荐(0) 编辑
flood stage disk watermark [95%] exceeded ... all indices on this node will be marked read-only
摘要:最近遇到了一个问题,想登录测试环境的kibana查看一下近期的日志情况,但是发现近一周并没有日志显示,查看elasticsearch的日志时发现了以下报错: [node-1] flood stage disk watermark [95%] exceeded on [JI43BoeFR8G8Q5oU
阅读全文
posted @
2022-05-26 21:14
jiayou111
阅读(1079)
推荐(1) 编辑
设置定时任务定期清理elasticsearch索引
摘要:如题,es会在所在机器磁盘使用率超过95%时变成只读模式,所以我们需要定期对很久之前生成的索引进行清除,这个时间间隔具体为多久视具体的业务而定。 我们现在的需求是设置一个每月1号早上5点整执行的crontab定时任务,去清理掉2个月之前生成的es索引。 这里的索引格式在logstash传输到es时就
阅读全文
posted @
2022-05-26 14:46
jiayou111
阅读(735)
推荐(0) 编辑
将mysql查询结果导出到文件
摘要:可以直接将结果输出到文件: mysql -u用户名 -p'密码' -D'数据库' -h'IP地址' -e"要执行的SQL" > /tmp/file.txt
阅读全文
posted @
2022-05-26 14:15
jiayou111
阅读(73)
推荐(0) 编辑
ES学习笔记
摘要:第1章 Elasticsearch概述 1.1 elasticsearch是什么 分类: 结构化数据(关系型数据库,比如mysql,表结构,索引,方便管理和查询,难扩展) 非结构化数据(比如二维表,视频,图片,服务器日志,报表等。存储和查询难度大,一般保存在nosql中,mongodb、redis、
阅读全文
posted @
2022-05-07 00:11
jiayou111
阅读(215)
推荐(0) 编辑