随笔分类 - Kafka
摘要:https://cloud.tencent.com/developer/article/2260035 如何确保RabbitMQ消息的可靠性? 开启生产者确认机制,确保生产者的消息能到达队列 开启持久化功能,确保消息未消费前在队列中不会丢失 开启消费者确认机制为auto,由spring确认消息处理成
阅读全文
摘要:https://aws.amazon.com/cn/compare/the-difference-between-rabbitmq-and-kafka/ Kafka 和 RabbitMQ 是可用于流处理的消息队列系统。数据流是需要高速处理的大容量、连续增量数据。例如,您必须持续收集和处理有关环境的传
阅读全文
摘要:一、增加patition数量, 有多少个patition就会启多少个消费者线程去消费,跟消费者服务节点的数量无关,只能patition有关。 二、patition一样的情况下,改为批量消费,一次拉取多条数据,max.poll.records,利用多线程去处理数据,避免单线程处理批量数据时间过长,导致
阅读全文
摘要:https://zhuanlan.zhihu.com/p/459610418 Kafka 到底会不会丢数据呢?如果丢数据,究竟该怎么解决呢? 只有掌握了这些, 我们才能处理好 Kafka 生产级的一些故障,从而更稳定地服务业务。 认真读完这篇文章,我相信你会对Kafka 如何解决丢数据问题,有更加深
阅读全文
摘要:https://www.163.com/dy/article/GIIBE9J40511EBNT.html
阅读全文
摘要:https://zhuanlan.zhihu.com/p/91196585 1、用自定义分区器将消息都发到一个分区里,或者干脆就一个分区 2、注意异常情况,发送消息的时候如果发送A失败了,然后发送B成功,重试发送A成功可能导致消息乱序,可以通过配置max.in.flight.requests.per
阅读全文
摘要:https://blog.csdn.net/j3T9Z7H/article/details/112255601 1、生产者 org.apache.kafka.clients.producer.internals.DefaultPartitioner (1)默认的分区策略是: 如果在发消息的时候指定了
阅读全文
摘要:一、什么是kafka的Rebalance kafka集群模式下,一个topic有多个partition,对于消费端,可以有多个consumer同时消费这些partition。为了保证大体上partition和consumer的均衡性,提升topic的并发消费能力,所以会有Rebalance。Reba
阅读全文
摘要:https://blog.csdn.net/qq_35689573/article/details/86711265
阅读全文
摘要:https://www.iteblog.com/archives/2560.html#i 数据可靠性 Kafka 作为一个商业级消息中间件,消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。 To
阅读全文
摘要:有两种:Direct直连方式、Receiver方式 1、Receiver方式: (1)receiver内存溢出问题: 使用kafka高层次的consumer API来实现,使用receiver从kafka中获取的数据都保存在spark excutor的内存中,然后由Spark Streaming启动
阅读全文
摘要:1、kafka的HA机制:副本机制+消息同步+leader选举。 每个topic有多个partition,每个partition又有多个副本,这些副本当中也存在不同的角色,leader、follower。producer和consumer都只跟leader进行交互,leader进行读写操作。lead
阅读全文
摘要:目录 一、消息传递语义 二、消息一致性保证方案 三、kafka消息丢失场景 三、kafka消息重复场景 一、消息传递语义: 三种,至少一次,至多一次,精确一次 1、at lest once:消息不丢,但可能重复 2、at most once:消息会丢,但不会重复 3、Exactly Once:消息不
阅读全文
摘要:1、区别: Kafka和RocketMQ的区别: 1、两者对于消息的单机吞吐量、时效性、可用性、消息可靠性都差不多,其中时效性就是消息延迟都在ms级,kafka吞吐量会更大。 2、功能支持方面:Kafka主要应用于大数据场景,因此其功能较为简单,主要支持简单的MQ功能。RocketMQ支持较为完善的
阅读全文
摘要:1、数据组织: partition:Kafka的topic可以划分成一个或多个partition,每个partition存储着这个topic的一部分数据。 partition副本:若一个topic的副本数为3,那么每个partition就会存储有3个相同的副本。其中每个broker存储一个或多个pa
阅读全文