摘要: 依赖包导入 producer开发 producer参数说明 metadata.broker.list:指定kafka节点列表,用于获取metadata,不必全部指定.如metadata.broker.list=192.168.1.10:9092,192.168.1.11:9092 partition 阅读全文
posted @ 2017-12-26 20:34 木易森林 阅读(3047) 评论(0) 推荐(0) 编辑
摘要: 引用自:http://blog.csdn.net/lizhitao/article/details/51718185 Kafka副本 Kafka中主题的每个Partition有一个预写式日志文件,每个Partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到Partition中,P 阅读全文
posted @ 2017-12-26 16:06 木易森林 阅读(6266) 评论(0) 推荐(1) 编辑
摘要: Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间复杂度的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输 支持Kafka Server 阅读全文
posted @ 2017-12-26 11:30 木易森林 阅读(389) 评论(0) 推荐(0) 编辑
摘要: Supervisor 参数调整 修改${STORM_HOME}conf/storm.yaml文件内容 supervisor变更参数 slots 配置: 若storm host仅仅执行supervisor(不包含nimbus)时,slots数目 = (Memory GB 1 ) 若同时包含了storm 阅读全文
posted @ 2017-12-26 10:11 木易森林 阅读(1404) 评论(0) 推荐(0) 编辑