随笔分类 - kafka
摘要：kafka各个版本特点介绍和总结 1.1 kafka的功能特点： 分布式消息队列 线性扩展，高可用 以高容错的方式存储海量数据流。 高吞吐量:生成和消费速度非常快 1.2 kafka的使用场景： kafka的使用场景，即kafka的用途。 数据总线（数据管道） Kafka主要用途是数据集成，或者说是
阅读全文
摘要：kafka集群扩容后的topic分区迁移 kafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面； 所以需要将一些topic的分区迁移到新的broker上。 kafka
阅读全文
摘要：（二）Kafka动态增加Topic的副本(Replication) 1. 查看topic的原来的副本分布 [hadoop@sdf nimbus perf ~]$ le kafka topics.sh describe topic http_zhixin_line1 Topic:http_zhixin
阅读全文
摘要：（一）kafka修改topic分区的位置 环境：kafka_2.10 0.8.2.1 + JDK1.7.0_80 1. 查看分区topic的分区分布 结果如下： [hadoop@sdf nimbus perf project]$ le kafka topics.sh describe topic h
阅读全文
摘要：linkedin开源的kafka monitor安装文档 linkedin 开源的kafka monitor的安装使用可以参考官方的readme；流程介绍的已经比较清楚，但是还是有一些地方需要修正。让大家可以少填一些坑。 1. 前提条件 Kafka Monitor 需要 Gradle 2.0 或者更
阅读全文
摘要：在window上搭建kafka的源代码开发环境，主要参考如下的blog： http://www.bubuko.com/infodetail-695974.html << Windows平台搭建Kafka源代码开发环境(Eclipse版本) >> http://stackoverflow.com/qu
阅读全文
摘要：Kafka的版本间差异较大，下面是0.8.2.1的操作方法 首先cd到kafaka的bin目录下; ＃step1启动zookeeper服务 nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.out
阅读全文
摘要：场景：在笔记本安装了一台虚拟机， 在本地的虚拟机上部署了一个kafka服务： 写了一个测试程序，在笔记本上运行测试程序，访问虚拟机上的kafka，报如下异常： 2015-01-15 09:33:26 [kafka.producer.async.DefaultEventHandler]-[INFO]
阅读全文
摘要：根据时间戳获取kafka的topic的偏移量，结果获取的偏移量量数据组的长度为0，就会出现如下的数组下标越界的异常，实现的原理是使用了kafka的getOffsetsBefore（）方法: Exception in thread "main" java.lang.ArrayIndexOutOfBou
阅读全文
