随笔分类 - Kafka
摘要：1. 消费方式 consumer采用pull（拉）模式从broker中读取数据。 push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而pul
阅读全文
摘要：1. 分区策略 分区的原因 方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据。 可以提高并发，因为可以以Partition为单位读写了 分区的原则 指明 partition 的情况下，直接
阅读全文
摘要：1. 消息队列 1.1 传统消息队列的应用场景 MQ传统应用场景之异步处理 1.2 消息队列的两种模式 1) 点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除) 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue中不再有存储，所
阅读全文
摘要：1. 查看当前服务器中的所有topic [hadoop@hadoop1 ~]$ kafka-topics.sh --zookeeper hadoop1:2181/kafka --list 2. 创建topic [hadoop@hadoop1 ~]$ kafka-topics.sh --create
阅读全文
摘要：1. 集群规划 NameNode DataNode NodeManager QuorumPeerMain(zk) SecondaryNameNode ResourceManager Kafka hadoop1 ✅ ✅ ✅ ✅ ✅ hadoop2 ✅ ✅ ✅ ✅ ✅ hadoop3 ✅ ✅ ✅ ✅ ✅
阅读全文
