随笔分类 -  ELK 日志相关

摘要:ELK 清理ES 索引数据 这个是清理前十天的索引信息,只保留十天的索引日志 目前我是手动执行的脚本、如有需要可以自行添加定时任务 #!/bin/bash #sticsearch的基本信息 ES_HOST="127.0.0.1" ES_PORT="9200" ES_USER="elastic" ES 阅读全文
posted @ 2024-06-03 09:21 不会游泳的鱼丶 阅读(175) 评论(0) 推荐(0) 编辑
摘要:在/opt 目录创建文件以及文件夹 -rw-r--r-- 1 root root 339 4月 17 14:26 docker-compose.ymldrwxr-xr-x 3 root root 4096 4月 17 15:53 elastalert2 [root@node1 opt]# tree 阅读全文
posted @ 2024-05-02 10:17 不会游泳的鱼丶 阅读(627) 评论(0) 推荐(0) 编辑
摘要:[2024-05-01T08:56:52,606][ERROR][o.e.x.i.IndexLifecycleRunner] [tools] policy [ilm-history-ilm-policy] for index [.ds-ilm-history-5-2024.03.28-000001] 阅读全文
posted @ 2024-05-01 09:48 不会游泳的鱼丶 阅读(421) 评论(0) 推荐(0) 编辑
摘要:ELK(Elasticsearch, Logstash, Kibana)是一套用于日志管理和分析的开源工具。在Elasticsearch中,数据保留策略通常是通过索引生命周期管理(ILM)来实现的。 以下是一个基于ILM的ELK保留策略的示例配置: 首先,确保Elasticsearch已经启用了IL 阅读全文
posted @ 2024-03-29 16:46 不会游泳的鱼丶 阅读(69) 评论(0) 推荐(0) 编辑
摘要:java环境 # 创建目录 mkdir /usr/local/java/ # 解压 tar -zxvf jdk-8u333-linux-x64.tar.gz -C /usr/local/java/ # 配置环境变量 vim /etc/profile export export JAVA_HOME=/ 阅读全文
posted @ 2024-03-29 16:05 不会游泳的鱼丶 阅读(112) 评论(0) 推荐(0) 编辑
摘要:#!/bin/bash# 使用while循环来监控日志的变化来实现打印日志# 使用前需要加权限: chmod 777 dd-table.sh# 后台启动命令: nohup ./dd-table.sh > /dev/null 2>&1 & SERVER_NAME="server" SERVER_DES 阅读全文
posted @ 2024-02-17 16:38 不会游泳的鱼丶 阅读(31) 评论(0) 推荐(0) 编辑
摘要:input { beats { port => 5044 }} filter { multiline {#pattern => "^\d{4}-\d{2}-\d{2}" # 正则表达式模式,匹配时间戳开头的行 pattern =>"^Application_Stdout" # 匹配以 "Applic 阅读全文
posted @ 2024-02-02 12:03 不会游泳的鱼丶 阅读(17) 评论(0) 推荐(0) 编辑
摘要:自动断开命令 解决自动断开命令 nohup ./filebeat -e -c filebeat.yml >./filebeat.log 2>&1 & disown 其他的方式(目前我没有使用) 在linux操作系统 /etc/systemd/system目录下创建一个filebeat.service 阅读全文
posted @ 2024-01-19 10:21 不会游泳的鱼丶 阅读(92) 评论(0) 推荐(0) 编辑
摘要:一、ElastAlert 概述 ElastAlert 是一个开源的警报框架,由 Yelp 开发,它可以从 Elasticsearch 中提取数据并根据预定义的规则生成警报。ElastAlert 可用于监控您的日志和时间序列数据,以便在发生异常、错误或其他有趣的模式时立即采取行动。ElastAlert 阅读全文
posted @ 2024-01-17 18:35 不会游泳的鱼丶 阅读(214) 评论(0) 推荐(0) 编辑
摘要:当然,下面是一个完整的示例,包括Filebeat和Logstash的配置,以便实现按项目进行索引拆分的日志收集: **Filebeat 配置示例:** ```yamlfilebeat.inputs:- type: log enabled: true paths: - /opt/logs/qfzs-a 阅读全文
posted @ 2023-12-07 14:03 不会游泳的鱼丶 阅读(54) 评论(0) 推荐(0) 编辑
摘要:如果你希望只保留3天的日志数据,你可以通过使用Elasticsearch的索引生命周期管理(ILM)功能来实现。ILM允许你定义自动化的索引生命周期策略,包括日志数据的保留时间。 以下是一个示例,演示如何配置针对每个项目的3天日志保留策略: 1. 首先,确保你的Elasticsearch版本支持索引 阅读全文
posted @ 2023-12-07 14:02 不会游泳的鱼丶 阅读(887) 评论(0) 推荐(0) 编辑
摘要:我们在部署elk完后,在kibana上发现很多ERROR日志换行情况,结果会在kibana上看到多行的error日志 我们常出现的ERROR日志如下 [INFO][2020-03-22 22:37:05,064][org.apache.commons.httpclient.HttpMethodDir 阅读全文
posted @ 2023-12-06 20:59 不会游泳的鱼丶 阅读(146) 评论(0) 推荐(0) 编辑