随笔分类 - kafka
kafka
摘要：这个问题从两个方面进行回答：为什么会存在无序消费，如何保证有序消费 1 为什么会存在无序消费？ kafka的一个topic的数据，可以维护多个partition来实现消息的分片，生产者在生产数据的时候，会根据key来进行取模，决定将消息存储到哪一个partition里面。而且消息是按照先后有序的去存
阅读全文
摘要：可以从三个方面来考虑实现：producer端、broker端、consumer端 1produce端： 确保消息能够到达broker，并且实现消息的存储。 在这个层面，有可能会存在网络异常导致消息发送失败。所以可以通过三种方式来避免消息丢失。produce默认是异步发送消息的， 1 把异步发送改成同
阅读全文
摘要：记录一次kafka的OOM报错： 情况是这样的，我在自己的win10上安装了zookeeper和kafka，用来调试。 第一次启动是ok的，消费端和生产端都是可以正常运行的。 然后，我尝试用代码去循环生产数据，kafka就挂了。 接着我重启kafka，就再也启动不了了，查看启动失败的日志报了OOM。
阅读全文
