随笔分类 - MQ消息队列 / kafka
摘要：redis 和 kafka 都作为中间件缓存，各有千秋 redis 在秒杀场景中的优缺点： 优点： 高并发处理能力：Redis的并发处理能力能达到万级别甚至更高，非常适合处理秒杀场景中的瞬时大量高并发请求。 读多写少：秒杀场景中读请求（如商品库存查询）远大于写请求（如库存扣减和下单操作），Redis
阅读全文
摘要：感情是可以磨合的，前提是，看脸。 零拷贝 零拷贝并不是不需要拷贝，而是减少不必要的拷贝次数。通常是说在 IO 读写过程中。 实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。 我们知道，减少不必要的拷贝次数，就
阅读全文
摘要：别人没回复，继续等，你会等到她的朋友圈。 不同的场景导致的拥堵已经对应的解决方案 1、实时/消费任务挂掉导致的消费积压的解决方法 如果在积压数据不多和影响较小的情况下，重新启动消费任务，排查宕机原因。 如果消费任务宕机时间过长导致积压数据量很大，除了重新启动消费任务、排查问题原因，还需要解决消息积压
阅读全文
摘要：熟练地运用，关我屁事和关你屁事，可以节省人生80%的时间。 redis 作为非关系性数据库，和作为消息系统的kafka是两个完全不同的东西，但是都是可以应用于队列方面进行应用，从而也就是有了对应的比较。 差异： 存储介质不一样： redis queue数据是存储在内存，虽然有AOF和RDB的持久化方
阅读全文
摘要：能力是一个人的长度；勤奋是一个人的宽度；善于抓住机遇构成这个人的高度。长度、宽度、高度的乘积，就能算出我们每个人的生命容量。 在kafka中，什么是rebalance？ rebalance中文含义为再平衡。它本质上是一组协议，它规定了一个 consumer group 是如何达成一致来分配订阅 to
阅读全文
摘要：趁着年轻多出来走走，不然你不会知道，呆在家里有多爽。 生产者 producer 在kafka 系统中的生产者产生的消息包含那几个部分 topic：往哪个topic生产消息。 partition：往哪个partition生产消息。 key：根据该key将消息分区到不同partition。 messag
阅读全文
摘要：别看别人表面上事事如意，其实他们背地里，也顺风顺水。 目的：数据清除的主要目的是删除过期的消息。过期的消息是指已经被消费者处理过的消息，或者因为某些原因无法被消费者处理的消息，这些消息会占用磁盘空间，导致系统性能下降，所以需要及时的清除。 清除策略的分类 kafka中清除策略的分类有2种：delet
阅读全文
摘要：人的一生，三分天注定七分靠打拼，剩下的九十分靠父母。 问题：如何保证数据不丢失问题？ 答：内部机制，创建2个或者2个以上的副本，其中一个为Leader，其余的都是follower，然后分布在不同的broker上面。 问题：多个副本之间是如何进行同步的？ 答：有一个客户端往一个Partition写入数
阅读全文
摘要：找对象还是眼光高点好，你总得为，没有人喜欢你找个借口吧。 原理图 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于h
阅读全文
