摘要: 消息格式消息由一个固定长度的头部和可变长度的字节数组组成。头部包含了一个版本号和CRC32校验码。[plain]view plaincopy/***具有N个字节的消息的格式如下**如果版本号是0**1.1个字节的"magic"标记**2.4个字节的CRC32校验码**3.N-5个字节的具体信息**如... 阅读全文
posted @ 2015-01-18 11:11 TonyChai 阅读(457) 评论(0) 推荐(0) 编辑
摘要: Kafka Producer APIs旧版的Procuder API有两种:kafka.producer.SyncProducer和kafka.producer.async.AsyncProducer.它们都实现了同一个接口:[java]view plaincopyclassProducer{/*将... 阅读全文
posted @ 2015-01-18 11:10 TonyChai 阅读(626) 评论(0) 推荐(0) 编辑
摘要: Kafka允许topic的分区拥有若干副本,这个数量是可以配置的,你可以为每个topci配置副本的数量。Kafka会自动在每个个副本上备份数据,所以当一个节点down掉时数据依然是可用的。Kafka的副本功能不是必须的,你可以配置只有一个副本,这样其实就相当于只有一份数据。创建副本的单位是topic... 阅读全文
posted @ 2015-01-18 11:09 TonyChai 阅读(3386) 评论(0) 推荐(0) 编辑
摘要: Kafka Producer消息发送producer直接将数据发送到broker的leader(主节点),不需要在多个节点进行分发。为了帮助producer做到这点,所有的Kafka节点都可以及时的告知:哪些节点是活动的,目标topic目标分区的leader在哪。这样producer就可以直接将消息... 阅读全文
posted @ 2015-01-18 11:08 TonyChai 阅读(804) 评论(0) 推荐(0) 编辑