09 2019 档案

摘要:HBase中JVM基本配置 在JVM中,默认情况下会设置minimum heap size 为 1/64 可用物理内存,并为maximum heap size设置 1/4 的物理可用内存(不过在Java8 之前,默认最大是1g)。当然,我们可以通过手动指定 JVM 参数,配置JVM的内存,例如: - 阅读全文
posted @ 2019-09-23 17:50 ZacksTang 阅读(2168) 评论(0) 推荐(0) 编辑
摘要:Partitions与Replication Factor调整准则 Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数,这两个参数的取值会直接影响到系统的性能与稳定性。 尽量在第一次创建一个topic时就指定这两个参数,因为 如果Partitio 阅读全文
posted @ 2019-09-16 10:16 ZacksTang 阅读(7322) 评论(0) 推荐(1) 编辑
摘要:1. Kafka Stream Introduction 假设我们需要对kafka 消息做流数据分析,例如: 对部分消息做过滤 每分钟计算一次收到了多少消息 这种情况下,对于消息过滤以及定时统计,甚至是进行流的合并,是几个基本的流式处理。但是在这种情况下,仅使用Kafka Producer 与 Co 阅读全文
posted @ 2019-09-15 14:11 ZacksTang 阅读(2667) 评论(0) 推荐(0) 编辑
摘要:1. Poll Messages 在Kafka Consumer 中消费messages时,使用的是poll模型,也就是主动去Kafka端取数据。其他消息管道也有的是push模型,也就是服务端向consumer推送数据,consumer仅需等待即可。 Kafka Consumer的poll模型使得c 阅读全文
posted @ 2019-09-12 21:14 ZacksTang 阅读(5450) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示