摘要：
Kafka consumer 的角度而 poll 方法返回即认为 consumer 成功消费了消息，这可能和我们用户的观点有些不太 致，毕竟我们通常认为执行完真正的业务级处理之后才能算消费完毕 因此要回答上面的问题就必须明确 consumer 的瓶颈在哪里并根据结果有针对性地进行改进 如果你发现 p
阅读全文
posted @ 2019-02-01 16:55
小小码农620
阅读(171)
推荐(0)
摘要：
consumer group 的含义和特点• consumer group 下可以有 个或多个 consumer 实例 。一 consum 实例可以是一个线程，也可以是运行在其他机器上的进程。• group.id 唯一标识一个 consumer group• 对某个 group 而言，订阅 topi
阅读全文
posted @ 2019-01-31 13:55
小小码农620
阅读(204)
推荐(0)
摘要：
Kafka 目前只提供单个分区内的消息顺序，而不会维护全局的消息顺序，因此如果用户要实现 topic 全局的消息读取顺序，就只能通过让每个 consumer group 下只包含consumer 实例的方式来间接实现。
阅读全文
posted @ 2019-01-31 13:51
小小码农620
阅读(434)
推荐(0)
摘要：
定义 consumer group ，也见过他人描述，但都觉得不如 Kafka网的 句话来得言简意眩，只用一句话就清晰无歧义地给出了 consumer group 的含义同时还明确点出了它的特性 在这一点上 Kafka 官网可谓无出其右。说了这么多，我们就来看看官网关consumer group 的
阅读全文
posted @ 2019-01-31 10:27
小小码农620
阅读(628)
推荐(0)
摘要：
acks 参数控制 producer 实现不同程度的消息持久性，它有 个取值，对应的优缺点以使用场景如表 4.1 所示。4.1 acks 参数取值说明
阅读全文
posted @ 2019-01-30 16:05
小小码农620
阅读(2635)
推荐(1)
摘要：
若用户使用 Java 7，那么在选择 GC 收集器时可以根据以下法则进行确认• 如果用户机器上的 CPU 资源非常充裕，那么推荐使用 CMS 收集器 这样可以充分利用多 CPU 执行并发垃圾收集 启用方法为－ :XX:+U seCurrentMarkSweepGC• 相反地，则使用吞吐量收集器，即所
阅读全文
posted @ 2019-01-30 11:26
小小码农620
阅读(447)
推荐(0)
摘要：
验证部署成功搭建起多节点的 Kafka 集群还不够，我们还需要验证线上环境是没有错误且可以使用。下面将从以下几个方面分别来验证 Kafka 集群部署的正确性• 测试 topic 创建与删除。• 测试消息的生产与发送• 生产者吞吐量测试。• 消费者吞吐量测试。
阅读全文
posted @ 2019-01-30 10:48
小小码农620
阅读(270)
推荐(0)
摘要：
Zoo Keeper 集群就能正常提供服务。显然，既然是大多数，那么最好使用奇数个服务器，即 2n + 个服务器，这样整个 ZooKeeper 集群最多可以容忍n台服务器容机而保证依然提供服务 。
阅读全文
posted @ 2019-01-30 10:34
小小码农620
阅读(109)
推荐(0)
摘要：
带宽资源规划的建议如下. 尽量使用高速网络。. 根据自身网络条件和带宽来评估 Kafka 集群机器数量。. 避免使用跨机房网络。
阅读全文
posted @ 2019-01-30 09:07
小小码农620
阅读(332)
推荐(0)
摘要：
CPU 资源规划的建议如下• 使用多核系统， CPU 核数最好大于• 如果使用 Kafka 0.10 0.0 之前的版本或 clients 端与 broker 端消息版本不一致（若无显式配置，这种情况多半由 clients broker 版本不一致造成），则考虑多配置 些资源以防止消息解压缩操作消耗
阅读全文
posted @ 2019-01-29 11:25
小小码农620
阅读(339)
推荐(0)
浙公网安备 33010602011771号