随笔分类 -  kafka

摘要:kafka-0.8.2 新特性 producer不再区分同步(sync)和异步方式(async),所有的请求以异步方式发送,这样提升了客户端效率。producer请求会返回一个应答对象,包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点,因而可以减少server端资源的开 阅读全文
posted @ 2017-04-14 16:25 暴躁IT老绵羊 阅读(15109) 评论(1) 推荐(6) 编辑
摘要:序:如何保证kafka全局消息有序? 比如,有100条有序数据,生产者发送到kafka集群,kafka的分片有4个,可能的情况就是一个分片保存0-25,一个保存25-50......这样消息在kafka中存储是局部有序了。严格说,kafka是无法保证全局消息有序的,没有这个机制,只能局部有序。 比如 阅读全文
posted @ 2017-02-10 15:42 暴躁IT老绵羊 阅读(18546) 评论(2) 推荐(4) 编辑
摘要:简要:开发中,常常因为需要我们要认为修改消费者实例对kafka某个主题消费的偏移量。具体如何修改?为什么可行?其实很容易,有时候只要我们换一种方式思考,如果我自己实现kafka消费者,我该如何让我们的消费者代码如何控制对某一个主题消费,以及我们该如何实现不同消费者组可以消费同一个主题的同一条消息,一 阅读全文
posted @ 2016-12-22 21:40 暴躁IT老绵羊 阅读(6528) 评论(1) 推荐(0) 编辑
摘要:1.1 IntroductionKafka is a distributed streaming platform. What exactly does that mean?kafka是一个分布式的流式平台,它到底是什么意思? We think of a streaming platform as 阅读全文
posted @ 2016-10-15 13:17 暴躁IT老绵羊 阅读(2041) 评论(0) 推荐(1) 编辑