ExplorerMan

摘要： 一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容： 管理多个集群 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发） 运行首选副本选举 使用选项生成分区 阅读全文

摘要： 目录一、背景二、设置索引生命周期策略(ILM)三、手动给索引设置删除策略四、查看结果五、自动给索引添加删除策略六、参考一、背景ELK系统里面存放了大量日志索引，只需要保留15天的日志索引，希望到期自动删除对应的索引;本文的解决方案是给索引添加生命周期策略，不需要手动设置定时器去调用api删除； 二、 阅读全文

摘要： 一.Markdown概述 1>.什么是Markdown Markdown是一种标记语言，用于文档排版，它相比于HTML标签要简单的多。 Markdown的流行度非常高，很多IDE都集成了Markdown功能，由于其简单方便，基本上已经成为程序员写文档的事实标准。 温馨提示： 关于Markdown编辑 阅读全文

摘要： 一.安装Gitbook 1>.安装nodejs 较新版本的gitboot关于左侧导航栏使用了ajax技术，导致使用gitboot必须得基于HTTP协议，它不像旧版本默认支持本地文件访问，即不能双击打开Markdown文件，因此本篇博客安装的nodejs版本偏低。 nodejs下载地址： https: 阅读全文

摘要： 下载 建议到官网下载最新版https://www.elastic.co/cn/downloads/logstash本文使用logstash7.0.0https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz wget h 阅读全文

摘要： 参考文献：https://docs.confluent.io/current/clients/confluent-kafka-python/index.html#consumer Producer.poll(timeout) timeout (float) – Maximum time to blo 阅读全文

摘要： 一，问题描述 搭建的用来测试的单节点Kafka集群（Zookeeper和Kafka Broker都在同一台Ubuntu上），在命令行下使用： ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 阅读全文

摘要： 当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用 重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是 阅读全文

摘要： 一、为什么需要消息系统 1.解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2.冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的 阅读全文

摘要： 在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 一个消费者组中的消费者数量和分区的关系，比如一个组中有3个消费者，那么topic的分区数3，刚刚好，如果，消费者小于3， 阅读全文