摘要：
现场环境： salt-minion端： ip:10.0.3.149 环境：使用 nvm装的nodejs 受用nodejs自带的npm 安装pm2 sal-master端： IP：10.0.3.145 环境安装salt-master 问题描述： 在master端使用命令执行： salt "10.0.3 阅读全文
摘要：
控制器组件（Controller）,是Apache kafka的核心组件。它的主要作用是在Apache Zookeeper的帮助下管理和协调整个kafka集群（社区正在计划去掉zookeeper的依赖）。集群中的任意一台Broker都可以成为控制器，在一个正常运行的集群中目前只能有一个控制器。 实际 阅读全文
摘要：
所谓的副本机制（Replication）,也可以称之为备份机制，通常是指分布式系统在多台互联网的机器上保存相同的数据拷贝。副本机制有什么好处么？ 这些有优点都是在分布式系统教科书中最长被提及的，但是有些遗憾的是在kafka中目前只能享受到副本机制带来的第1个好处，也就是提供数据冗余备份。 副本定义 阅读全文
摘要：
对于kafka消费者来说，最重要的事情就是监控它们的消费进度了，或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称：消费者Lag或Consumer Lag。 所谓滞后程度，就是指消费者当前落后生产者的程度。比方说，kafka生产者想某主题成功生产了100万条消息，你的消息者当前消费了80万条 阅读全文
摘要：
Rebalance 就是让⼀个 Consumer Group 下所有的 Consumer 实例就如何消费订阅 主题的所有分区达成共识的过程。在 Rebalance 过程中，所有 Consumer 实例共同参与，在协调者（Coordinator）组件的帮助下，完成订阅主题分区的分配。但是，在整个过程中 阅读全文
摘要：
今年天学习kafka的中的位移主题，也是kafka 中的内部主题： _consumer_offset 旧版本的位移消息是保存在zookeeper中的，但是在新版本中位移消息是存放在Broker中的位移主题中：_consumer_offset，使用kafka主题保存消息同时也实现了高持久性好搞频的读写 阅读全文
摘要：
消费组，即Consumer Group ,应该算是kafka比较有创意的设计了。那么何谓ConsumerGroup呢？用一句话概括就是：ConsumerGroup是kafka提供的可扩展且具有容错性的消费者机制。既然是一个组，那么组内必然可以有多个消费者和消费者实列，他们共享一个公共的ID，这个ID 阅读全文
摘要：
kafka在什么情况下才能保证消息的不丢失？ 一句话概括，kafka只对”已提交“的消息(committed message)做有限度的持久化保证 第一个核心要素： 已提交的消息 什么是以提交的消息？当kafka的若干个Broker成功的接收到一条消息并写入到日志文件后，他们会告诉生产者程序消息已经 阅读全文
摘要：
压缩的是使用时间换空间的思想，具体来说就是使用CPU的时间去换取空间或网络I/0传输量。 怎么压缩？ kafka是如何压缩的消息的呢？目前，kafka共有俩大消息格式，社区分别称之为V1版本和V2版本。V2B版本是在kafka0.11.0.0中正式引入的。 不论哪个版本，kafka的消息分为俩层：消 阅读全文
摘要：
1.为什么分区 kafka有主题（Topic）的概念，它是承载真实数据的逻辑容器，而在主题之下还分为若干个分区，也就是说kafka的消息组织方式实际上是三级结构： 主题 分区 消息。主题下的每条消息只会保存在某一个分区中，而不会在多个分区中保存多份。官网上的这张图非常清晰地展示了kafka的三级结构 阅读全文
摘要：
下面我们分别从操作系统、磁盘、磁盘带宽和带宽方面来讨论下。 操作系统 说起操作系统，你可能会问kafka不是JVM系的大数据框架吗？java又是跨平台的语言，把kafka安装不同的操作系统上会有什么区别吗？其实区别相当大。 的确，如你所知，kafka是由Scala语言和Java语言编写而写，编译之后 阅读全文