随笔分类 - elk,kafka
摘要：In this article, I will take you through the steps to delete Elasticsearch Unassigned Shards. Elasticsearch stores data in the form of documents, whic
阅读全文
摘要：Zookeeper 主要用来跟踪Kafka 集群中的节点状态, 以及Kafka Topic, message 等等其他信息. 同时, Kafka 依赖于Zookeeper, 没有Zookeeper 是不能运行起来Kafka 的. Controller 选举: Controller 是一个特殊的Bro
阅读全文
摘要：如果你将Kafka做成了一个service并使用systemctl进行管理的话，那么修改/etc/sysctl.conf和/etc/security/limits.conf的配置是不生效的。你可以查看/proc/<kafka pid>/limits去验证配置是否生效了。如果将Kafka配置成了ser
阅读全文
摘要：当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用 重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是
阅读全文
摘要：1.概述 最近有很多同学给笔者留言，说在安装Kafka Eagle的时候，会遇到一些问题，请教如何解决？今天笔者就在这里总结一下安装步骤，和一些安装的注意事项，以及解决方式。 2.内容 在安装Kafka Eagle之前，可能新接触的同学对Kafka Eagle不太了解，那我们现在简要介绍一下Kafk
阅读全文
摘要：1 概述 很多系统的日志都会放在 Kibana 供查询，就是所谓的 ELK。Kibana 除了可以使用界面供的一些 tab 或者 button 去筛选日志，也可以在搜索栏中使用 Lucene 的语法简单的交互式查询。可以做基于字段的特定搜索，过滤数据，也可以查看索引号的文档。查询的语法可以参考 官方
阅读全文
摘要：Kafka Manager 特性，它支持以下内容（官方译解）： 管理多个群集容易检查集群状态（主题，消费者，偏移量，经纪人，副本分发，分区分配）运行首选副本选举使用选项生成分区分配，以选择要使用的代理运行分区的重新分配（基于生成的分配）创建可选主题配置的主题（0.8.1.1具有不同于0.8.2+的配
阅读全文
摘要：查询索引: 二、api删除 [root@elk sh]# curl -XDELETE http://localhost:9200/filebeat-6.0.0-2018.03.07{"acknowledged":true} 三、脚本加api删除（推荐） 四、添加到任务计划
阅读全文
摘要：在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。 默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。这些功能是由两个属性控制的。node.master和node.data默认
阅读全文
摘要：何为Logrotate？ Logrotate是一个实用的日志管理工具，旨在简化对系统上生成大量的日志文件进行管理。 Logrotate允许自动旋转压缩，删除和邮寄日志文件，从而节省宝贵的磁盘空间。 Logrotate可以设置为每天、每周、每月或当日志文件达到一定的大小时处理日志文件。还可以完全控制日
阅读全文
摘要：ELK介绍 官网https://www.elastic.co/cn/ 中文指南https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details ELK Stack （5.0版本之后） Elastic Stack == （ELK Stac
阅读全文
摘要：ERROR: bootstrap checks failed max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] max number of thread
阅读全文