小小码农620 - 博客园

2019年2月1日

摘要： Kafka consumer 的角度而 poll 方法返回即认为 consumer 成功消费了消息，这可能和我们用户的观点有些不太致，毕竟我们通常认为执行完真正的业务级处理之后才能算消费完毕因此要回答上面的问题就必须明确 consumer 的瓶颈在哪里并根据结果有针对性地进行改进如果你发现 p 阅读全文

posted @ 2019-02-01 16:55 小小码农620 阅读(165) 评论(0) 推荐(0) 编辑

2019年1月31日

consumer group 的含义和特点

摘要： consumer group 的含义和特点• consumer group 下可以有个或多个 consumer 实例。一 consum 实例可以是一个线程，也可以是运行在其他机器上的进程。• group.id 唯一标识一个 consumer group• 对某个 group 而言，订阅 topi 阅读全文

posted @ 2019-01-31 13:55 小小码农620 阅读(189) 评论(0) 推荐(0) 编辑

kafka 消息顺序

摘要： Kafka 目前只提供单个分区内的消息顺序，而不会维护全局的消息顺序，因此如果用户要实现 topic 全局的消息读取顺序，就只能通过让每个 consumer group 下只包含consumer 实例的方式来间接实现。阅读全文

posted @ 2019-01-31 13:51 小小码农620 阅读(421) 评论(0) 推荐(0) 编辑

kafka consumer group 定义

摘要：定义 consumer group ，也见过他人描述，但都觉得不如 Kafka网的句话来得言简意眩，只用一句话就清晰无歧义地给出了 consumer group 的含义同时还明确点出了它的特性在这一点上 Kafka 官网可谓无出其右。说了这么多，我们就来看看官网关consumer group 的阅读全文

posted @ 2019-01-31 10:27 小小码农620 阅读(603) 评论(0) 推荐(0) 编辑

2019年1月30日

kafka producer acks参数

摘要： acks 参数控制 producer 实现不同程度的消息持久性，它有个取值，对应的优缺点以使用场景如表 4.1 所示。4.1 acks 参数取值说明阅读全文

posted @ 2019-01-30 16:05 小小码农620 阅读(2592) 评论(0) 推荐(1) 编辑

kafka GC配置

摘要：若用户使用 Java 7，那么在选择 GC 收集器时可以根据以下法则进行确认• 如果用户机器上的 CPU 资源非常充裕，那么推荐使用 CMS 收集器这样可以充分利用多 CPU 执行并发垃圾收集启用方法为－ :XX:+U seCurrentMarkSweepGC• 相反地，则使用吞吐量收集器，即所阅读全文

posted @ 2019-01-30 11:26 小小码农620 阅读(430) 评论(0) 推荐(0) 编辑

kafka 验证部署

摘要：验证部署成功搭建起多节点的 Kafka 集群还不够，我们还需要验证线上环境是没有错误且可以使用。下面将从以下几个方面分别来验证 Kafka 集群部署的正确性• 测试 topic 创建与删除。• 测试消息的生产与发送• 生产者吞吐量测试。• 消费者吞吐量测试。阅读全文

posted @ 2019-01-30 10:48 小小码农620 阅读(256) 评论(0) 推荐(0) 编辑

kafka zookeeper 集群说明

摘要： Zoo Keeper 集群就能正常提供服务。显然，既然是大多数，那么最好使用奇数个服务器，即 2n + 个服务器，这样整个 ZooKeeper 集群最多可以容忍n台服务器容机而保证依然提供服务。阅读全文

posted @ 2019-01-30 10:34 小小码农620 阅读(100) 评论(0) 推荐(0) 编辑

kafka 带宽资源规划

摘要：带宽资源规划的建议如下. 尽量使用高速网络。. 根据自身网络条件和带宽来评估 Kafka 集群机器数量。. 避免使用跨机房网络。阅读全文

posted @ 2019-01-30 09:07 小小码农620 阅读(321) 评论(0) 推荐(0) 编辑

2019年1月29日

kafka CPU 资源规划

摘要： CPU 资源规划的建议如下• 使用多核系统， CPU 核数最好大于• 如果使用 Kafka 0.10 0.0 之前的版本或 clients 端与 broker 端消息版本不一致（若无显式配置，这种情况多半由 clients broker 版本不一致造成），则考虑多配置些资源以防止消息解压缩操作消耗阅读全文

posted @ 2019-01-29 11:25 小小码农620 阅读(332) 评论(0) 推荐(0) 编辑