摘要：
kafka生产者API 1.消息发送流程 kafka的producer发送消息采用的是异步发送的方式，在消息发送的过程中，涉及到了两个线程-main线程和sender线程，以及一个线程共享变量-RecordAccumulator。 main线程将消息发送给RecordAccumulator， Sen 阅读全文
摘要：
kafka高效读写数据 1.顺序写磁盘 kakfa的producer生产数据，要写入log文件中，写的过程是一直追加到文件末端为顺序写，顺序写能达到600M/s。而随机写只有100K/s，顺序写之所以快，是因为其省去了大量磁头寻址时间 2.零复制技术 正常操作将一个目录下的文件移动到另一个目录下， 阅读全文
摘要：
查看CDH版本zookeeper存储的kafka offset值 启动kafka客户端 ./opt/cloudera/parcels/CDH/bin/zookeeper-client // 查看消费者组为df_app_10，topic为reservation 有几个分区 ls /consumers/ 阅读全文
摘要：
生产者分区原则 1.指定partition编号的情况下，直接将指明的值直接作为partition值 2.没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值 3.没有partition值也没有key值的情况下，第一次调 阅读全文
摘要：
kafka的消费者组，是为了提供消费速度， 1.为方便扩展，并提高吞吐量，一个topic分为多个partition 2.配合分区的设计，提出消费者组的概念，组内每个消费者并行消费 3.为提高可用性，为每个partition增加若干副本，类似NameNode HA 因为一个消费者组的一个消费者只能消费 阅读全文