随笔分类 - ELK
摘要：文章转自：https://blog.csdn.net/wangpei1949/article/details/82287444
阅读全文
摘要：关于慢查询的收集及处理也耗费了我们太多的时间和精力，如何在这一块也能提升效率呢？且看本文讲解如何利用ELK做慢日志收集。 ELK 介绍 ELK 最早是 Elasticsearch（以下简称ES）、Logstash、Kibana 三款开源软件的简称，三款软件后来被同一公司收购，并加入了Xpark、Be
阅读全文
摘要：1、logstash 做监控的优劣 适合match-then-alert 的方式 logstash-filter-metric logstash-input-http_poller 无状态、进程间数据无法交流 无复杂表达能力 logstash 做监控没有复杂的语法，同时越复杂的功能越消耗资源，本身logstash 就非常的消耗资源 利用logstash mail 插件有点low ...
阅读全文
摘要：在刚刚开始接触ELK的时候我们习惯把每一个index都按照day来切割。但是我们会发现我们的shards 会很多。 其实我们一该把那些小的index按照一周或者一个月来rolling，来减少我们的shards数。 我使用的是logstash5，这里我们每启动一个logstash的进程的时候我们会发现
阅读全文
摘要：topic：创建时topic名称 partition：分区编号 offset：表示该parition已经消费了多少条message logSize：表示该partition已经写了多少条message Lag：表示有多少条message没有被消费。 Owner：表示消费者 Created：该part
阅读全文
摘要：这里我们参考官网安装curator https://www.cookiesinn.org/elasticsearch_curator_delete_indices/ https://www.elastic.co/guide/en/elasticsearch/client/curator/5.4/in
阅读全文
摘要：1、问题描述 早上醒来发现手机有很多ES状态为red的告警，集群就前几天加了几个每天有十多亿记录的业务，当时估算过磁盘容量，应该是没有问题的，但是现在集群状态突然变成red了，这就有点懵逼了。 2、查找问题原因 没办法，问题出来了，只好查找问题的原因了。 先看看集群的状态 curl -XGET 'h
阅读全文
摘要：自动重新加载配置 为了可以自动检测配置文件的变动和自动重新加载配置文件,需要在启动的时候使用以下命令: 1 默认,检测配置文件的间隔时间是3秒,可以通过以下命令改变 1 如果已经运行了没有提供自动重启的logstash,可以发送一个挂起命令给logstash重新加载配置文件: 1 配置文件自动重载工
阅读全文
摘要：文章转载自： http://www.cnblogs.com/Eivll0m/p/6700828.html https://segmentfault.com/a/1190000003509909#articleHeader1 Rsyslog日志服务搭建 rsyslog是比syslog功能更强大的日志记
阅读全文
摘要：这里我之前是在input里面配置的多行合并，合并语法为： 这里我们也可以再filter里面使用multiline插件来合并多行
阅读全文
摘要：一、Elasticsearch 是什么 Elasticsearch是一款用Java编写的开源分布式文档存储和搜索引擎，可以用于near real-time存储和数据检索。 1、Elasticsearch简要组成 在开始探索性能指标之前，让我们来看看Elasticsearch的工作原理，在elasti
阅读全文
摘要：#!/bin/bashfind /data/elasticsearch/data/pro-kz-log/nodes/0/indices/ -type d -mtime +7 | awk -F"/" '{print $9}' | grep -v kibana | uniq > /home/wwwad/
阅读全文
摘要：#!/bin/bashfind /data/elasticsearch/data/kz-log/nodes/0/indices/ -type d -mtime +5 | awk -F"/" '{print $9}' | grep -v kibana | uniq >esindex.txtcat /h
阅读全文
摘要：这个方法有一个问题就是我这边不能给我们公司的邮箱发邮件。还有就是我们有两个邮箱一个是腾讯企业邮箱，还有一个就是我们的集团邮箱 使用下面的这个方法是不能给我们的集团邮箱发邮件的。第二个问题就是这个方法给我们的腾讯企业邮箱发邮件的话，腾讯的企业邮箱会有一定的规则 当你一定时间发送太多邮件的话，这里就会拒
阅读全文
摘要：本文内容 背景 ES集群中第一个master节点 ES slave节点 本文总结 Elasticsearch（以下简称ES）搭建集群的经验。以 Elasticsearch-rtf-2.2.1 版本为例。 我搭过三个集群：研究ELK时搭了一个；测试环境搭了一个；生产环境搭了一个。回想起来，搭建这三个集
阅读全文
摘要：解决方案就是
阅读全文
摘要："status": 500, "reason": "ElasticsearchException[org.elasticsearch.common.breaker.CircuitBreakingException: [FIELDDATA] Data too large, data for [@tim
阅读全文
摘要：这里我装了一个head插件和kopf的插件 ./plugin install mobz/elasticsearch-head ./plugin install lmenezes/elasticsearch-kopf ES-Head的主要作用 它展现ES集群的拓扑结构，并且可以通过它来进行索引（Ind
阅读全文
