随笔分类 - ELK Stack
摘要:1.常用监控工具 1.1 cerebro⼯具 地址:https://github.com/lmenezes/cerebro 1.2 Kibana Stack Monitoring 地址: https://www.elastic.co/guide/en/kibana/current/xpack-mon
阅读全文
摘要:常用命令 GET _search { "query": { "match_all": {} } } GET _cat/indices GET _cat/shards PUT /server-2023.02.09/_settings { "number_of_replicas": 0 } PUT /_
阅读全文
摘要:文档 镜像地址:https://hub.docker.com/r/elasticdump/elasticsearch-dump/ 数据在线导出导入 docker run --rm -ti elasticdump/elasticsearch-dump \ --input=http://elastic:
阅读全文
摘要:```css 1、查看分片分布 GET _cat/shards?v 2、设置集群节点允许分片数 GET /_cluster/settings { "index.routing.allocation.total_shards_per_node":2 } 3、解除索引只读 PUT /_all/_sett
阅读全文
摘要:总结 一、遇到集群Red时,我们可以从如下方法排查: 集群层面:/_cluster/health。 索引层面:/_cluster/health?pretty&level=indices。 分片层面:/_cluster/health?pretty&level=shards。 看恢复情况:/_recov
阅读全文
摘要:查看集群状态 GET /_cluster/health { "cluster_name" : "yzt-es-cluster", "status" : "yellow", "timed_out" : false, "number_of_nodes" : 20, "number_of_data_nod
阅读全文
摘要:优化相关 修改logstash.yml配置文件 一、pipeline.workers(实际output 时的线程数) 决定filter和output的线程数,官方建议大于CPU数,如果logstah节点是混用服务器, 建议等于或小于CPU数 二、pipeline.batch.size(每次发送的事件
阅读全文
摘要:Elasticsearch集群监控状态指标分三个级别●集群级别:集群级别的监控主要是针对整个Elasticsearch集群来说,包括集群的健康状况、集群的状态等。●节点级别:节点级别的监控主要是针对每个Elasticsearch实例的监控,其中包括每个实例的查询索引指标和物理资源使用指标。●索引级别
阅读全文
摘要:下载安装包解压 curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.8.1-linux-x86_64.tar.gz tar xzvf filebeat-7.8.1-linux-x86_64.tar.g
阅读全文
摘要:1、 #删除指定索引 2、#删除多个指定索引,中间用逗号隔开 3、#模糊匹配删除 4、#使用通配符,删除所有的索引 _all ,* 通配所有的索引 通常不建议使用通配符,误删了后果就很严重了,所有的index都被删除了 禁止通配符为了安全起见,可以在elasticsearch.yml配置文件中设置禁
阅读全文
摘要:ELK平台日志查看教程 1、 访问地址:http://xxx:5601/app/kibana 我们主要使用的是右边Discover功能,默认显示的是183tpp(可设置)最近15分钟日志信息。 2、 查看其它应用日志请点击左侧下拉列表。 3、 调整查询时间点击右上角时间选项。 4、 查询相关时间段日
阅读全文
摘要:x-pack-5.6.10激活教程 简介 X-Pack 已经作为 Elastic 公司单独的产品线,前身是 Shield, Watcher, Marvel, Graph, 和 reporting,先来说说这几个是做什么的吧: Shield: 提供对数据的 Password-Protect,以及加密通
阅读全文
摘要:这里演示YUM和RPM两种方式安装Elasticsearch下载并安装 public signing key:rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 1、通过yum安装Elasticsearch 添加elasti
阅读全文
摘要:官方地址:https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html 配置文件写法: # 日志导入input {}# 日志筛选匹配处理filter {}# 日志匹配输出output {} # 日志解析配置
阅读全文
摘要:利用 ELK 搭建 Docker 容器化应用日志中心 概述 应用一旦容器化以后,需要考虑的就是如何采集位于 Docker 容器中的应用程序的打印日志供运维分析。典型的比如SpringBoot应用的日志收集。 本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志,并且可以用可视化的方式对
阅读全文
摘要:logstash解耦之redis消息队列 架构图如下: 说明:通过input收集日志消息放入消息队列服务中(redis,MSMQ、Resque、ActiveMQ,RabbitMQ),再通过output取出消息写入ES上,kibana显示。 好处:松耦合,降低logstash收集日志的负载对业务服务不
阅读全文
摘要:logstash收集syslog日志注意:生产用syslog收集日志!!! 编写logstash配置文件 Kibana设置 看hand插件上我们能看到system-syslog索引 Kibana上添加system-syslog索引 完美
阅读全文
摘要:logstash收集TCP端口日志官方地址:https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html 编写logstash文件 Kibana配置 es的hand插件已经有了tcp-log的索引 数据浏览
阅读全文
摘要:logstash收集nginx访问日志 安装nginx 浏览器访问:http://192.168.247.135/ 查看nginx日志 编写logstash #添加--configtest参数检查配置语法是否有误!!![root@elk-node1 ~]# /opt/logstash/bin/log
阅读全文
摘要:目录 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Logstash 五、安装Kibana 六、Kibana简单使用 系统环境:CentOS Linux release 7.4.1708 (Core) 当前问题状况 一、介绍 1、组成 ELK由Elasticsearch、Lo
阅读全文