随笔分类 - Kafka
摘要：一、相关基础内容 然后正常kafka的指令是 ： ./bin/kafka-topics.sh --zookeeper hadoop300:2181 .......但是使用CDH安装的kafka则不需要全写出此 ./bin/kafka-topics.sh 部分。只许直接写 kafka-topics 即
阅读全文
摘要：1、配置文件config.properties # Kafka配置 kafka.broker.list = hadoop300:9092,hadoop301:9092,hadoop302:9092 # Redis配置 redis.host=hadoop300 redis.port=6379 2、读取
阅读全文
摘要：1、Kafka工作流程 kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的 topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件，该log文件中存储的就是producer生产的数据。producer生产的数
阅读全文
摘要：1、Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。 一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 2、Kafka
阅读全文
摘要：在Kafka、Flink、Spark Streaming等分布式流处理系统中（Kafka本质上市流处理系统，不单是MQ），存在三种消息传递语义（Message Delivery Semantics）： At Least Once 每条消息会被收到1次或多次。例如发送方S在超时时间内没有收到接收方R的
阅读全文
摘要：zookeeper 是应用广泛的分布式服务协调组件，它对于大数据领域的其他组件，如HFDS、Yarn、Hbase、Kafka等，都扮演着基础角色 在kafka.utils.ZKUtils对象的开头，预先定义了很多ZK路径，如： object ZkUtils extends scala.AnyRef
阅读全文
摘要：1、消费者与消费者组 假设某 topic 有4个分区，消费者组中只有一个消费者，那么这个消费者将消费全部 partition 中的数据。 如果消费者组中有两个消费者，那么每个消费者消费两个 partition。 如果消费者组中有4个消费者，那么每个消费者消费一个partition。 如果消费者组中有
阅读全文
