随笔分类 - kafka
摘要：Kafka无消息丢失配置 Kafka到底会不会丢数据(data loss)? 网上各种说法都有，在回答这个问题之前， 我们要明确“责任边界”。所谓责任边界就是要确定消息在生产和消费的完整流程中是由谁来负责，确保它不会丢失。这样即使真的出现了消息丢失，也能明确是责任主体，有针对性地进行改进和调整。 个
阅读全文
摘要：Kafka如何删除topic？ 今天为大家带来“Kafka删除topic原理解析”，希望可以帮到那些苦于无法删除topic的朋友们。 前提条件： 在启动broker时候开启删除topic的开关，即在server.properties中添加： delete.topic.enable=true 命令：
阅读全文
摘要：Kafka 0.11新功能介绍：空消费组延迟rebalance 在0.11之前的版本中，多个consumer实例加入到一个空消费组将导致多次的rebalance，这是由于每个consumer instance启动的时间不可控，很有可能超出coordinator确定的rebalance timeout
阅读全文
摘要：When we are talking about performance of Kafka Producer, we are really talking about two different things: latency: how much time passes from the time
阅读全文
摘要：虽说这个算是正常现象，等的时间也太久了吧。分钟级了。这个RECOVERY里面的WAL有点多余。有这么久的时间，早从新读取kafka写入hdfs了。纯属个人见解。
阅读全文
摘要：kafka-connect-hdfs中操作hdfs的HdfsStorage.class中需要做修改 当然 url的相应配置得改成hdfs://nameservice/*，因为要HA 啊。不能按照原来的要求了，原来的要求如下： 虽然实例化storage时候不用url了，往hive load还是要的。
阅读全文
摘要：Why do Kafka consumers connect to zookeeper, and producers get metadata from brokers? Ask Question Why do Kafka consumers connect to zookeeper, and pr
阅读全文
摘要：引言 上期我们对比了RocketMQ和Kafka在多Topic场景下，收发消息的对比测试，RocketMQ表现稳定，而Kafka的TPS在64个Topic时可以保持13万，到了128个Topic就跌至0.85万，导致无法完成测试。我们不禁要问： 为什么看不到Kafka性能暴跌的趋势呢？ 今天的测试，
阅读全文
摘要：引言 上一期我们对比了三类消息产品(Kafka、RabbitMQ、RocketMQ)单纯发送小消息的性能，受到了程序猿们的广泛关注，其中大家对这种单纯的发送场景感到并不过瘾，因为没有任何一个网站的业务只有发送消息。本期，我们就来模拟一个真实的场景： Topic为何物 Topic是消息中间件里一个重要
阅读全文
摘要：引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。 那么,消息中间件性能究竟哪家强? 带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka、R
阅读全文
摘要：引言 前几期的评测中，我们对比了Kafka和RocketMQ的吞吐量和稳定性，本期我们要引入一个新的评测标准——软件可靠性。 何为“可靠性”？ 先看下面这种情况：有A，B两辆越野汽车，在城市的周边地区均能很好应对泥泞的路况。当一同开去穿越西藏，A车会因为西藏本地的汽油不达标，导致油路受阻无法点火，而
阅读全文
摘要：摘要： 在5月17日举办的2016云栖大会·武汉峰会上阿里中间件产品专家马雷（阿仁）就阿里中间件MQ做了精彩的演讲，告诉大家：阿里中间件团队的目标是让消息“传”无边界。本文也就为什么使用消息中间件，消息中间件的核心场景进行了分享。相信阿仁的分享会让大家对分布式应用的异步调用有更加深刻的了解。精彩不要
阅读全文
摘要：简介 MetaQ是一款高性能的消息中间件，经过几年的发展，已经非常成熟稳定，历经多年双11的零点峰值压测，表现堪称完美。 MetaQ当前最新最稳定的稳本是3.x系统，MetaQ 3.x重新设计和实现，比之前的版本更优秀。虽然MetaQ借鉴了linkedin 的消息中间件kafak思想，但已经是青出于
阅读全文
摘要：昨天，我们将分布式消息中间件RocketMQ捐赠给了开源软件基金会Apache。 孵化成功后，RocketMQ或将成为国内首个互联网中间件在Apache上的顶级项目。 消息一出，本以为群众的反应是这样的： 然而事实上，群众的反应是这样的： 今天，特别邀请到阿里巴巴中间件（Aliware）技术研究员蒋
阅读全文
摘要：序言 今年的双十一对阿里巴巴中间件消息团队来说，注定是个不平凡的日子。在这一天，稳定性小组重点攻克的低延迟存储解决方案成功地经受住了大考。整个大促期间，99.996%的延迟落在了10ms以内，极个别由于GC引发的停顿在50ms以内，对于读写比例几乎均衡的分布式消息引擎来说，这一结果无不令人兴奋。甚至
阅读全文
摘要：淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆
阅读全文
摘要：Kafka最核心的思想是使用磁盘，而不是使用内存，可能所有人都会认为，内存的速度一定比磁盘快，我也不例外。在看了Kafka的设计思想，查阅了相应资料再加上自己的测试后，发现磁盘的顺序读写速度和内存持平。 而且Linux对于磁盘的读写优化也比较多，包括read-ahead和write-behind，磁
阅读全文
摘要：In this post I’m going to help you understand how Kafka stores its data. I’ve found understanding this useful when tuning Kafka’s performance and for
阅读全文
摘要：In this post, we will dive into the consumer side of this application ecosystem, which means looking closely at Kafka consumer group monitoring. Read
阅读全文
摘要：Apache Kafka is an attractive service because it’s conceptually simple and powerful. It’s easy to understand writing messages to a log in one place, t
阅读全文