随笔分类 -  mq-kafka

摘要:可靠性级别 回到标题提出的问题:我们是否真的能保证 Kafka 消息不丢失? 答案是:我们无法保证 Kafka 消息不丢失,只能保证某种程度下,消息不丢失。 这里所说的某些情况,从严重程度依次为:Kafka 宕机、服务器宕机、机房地震、城市毁灭、地球毁灭。不要觉得树哥在危言耸听,如果你的服务器部署在 阅读全文
posted @ 2024-07-19 11:48 威兰达 阅读(110) 评论(0) 推荐(0) 编辑
摘要:Kafka 的架构图可以分为四个部分: Producer Cluster: 生产者集群。一般由许多个实际的业务项目组成,其不断地往 Kafka 集群中写入数据。 Kafka Cluster: Kafka 服务器集群。这里就是 Kafka 作为重要的一部分,这里负责接收生产者写入的数据,并将其持久化到 阅读全文
posted @ 2024-07-19 11:43 威兰达 阅读(120) 评论(0) 推荐(0) 编辑
摘要:一、kafka 本身配置层面1.1、replication.factor 默认值1创建kafka的topic时候,每个分区设置的副本数, 根据broker数量酌情设置, 建议业界通常做法设置为3 1.2、min.insync.replicas 默认值1消息至少要被写入到min.insync.repl 阅读全文
posted @ 2022-04-22 17:41 威兰达 阅读(3232) 评论(0) 推荐(0) 编辑
摘要:一、kafka的rebalance机制在Kafka中,当有新消费者加入或者订阅的Topic数发生变化时,会触发Rebalance(再均衡:在同一个消费者组当中,分区的所有权从一个消费者转移到另外一个消费者)机制,Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下: 第一步 阅读全文
posted @ 2022-04-22 17:34 威兰达 阅读(5402) 评论(0) 推荐(0) 编辑
摘要:kafka的安装机器命令: https://www.cnblogs.com/qingyunzong/p/9005062.html kafka主要有三大作用,其中消息系统和流式处理是我们最常用的 消息系统:kafka作为消息中间件,具有MQ的系统解耦、流量削峰、缓冲、异步通信等特性 存储系统:kafk 阅读全文
posted @ 2020-06-09 12:00 威兰达 阅读(660) 评论(0) 推荐(0) 编辑
摘要:1、什么是消息确认ACK。 答:如果在处理消息的过程中,消费者的服务器在处理消息的时候出现异常,那么可能这条正在处理的消息就没有完成消息消费,数据就会丢失。为了确保数据不会丢失,RabbitMQ支持消息确定-ACK。 2、RabbitMQ的ACK的消息确认机制。 1、ACK机制是消费者从Rabbit 阅读全文
posted @ 2020-03-21 13:18 威兰达 阅读(3552) 评论(0) 推荐(0) 编辑
摘要:1、RabbitMQ的一大特色是消息的可靠性,那么它是如何保证消息可靠性的呢? 消息持久化。可以将Queue,Exchange,Message都设置为可持久化的。为了保证RabbitMQ在退出,服务重启或者crash等异常情况下,也不会丢失消息。 2、RabbitMQ服务异常,重启时候怎么保证消息不 阅读全文
posted @ 2020-03-18 23:26 威兰达 阅读(1292) 评论(0) 推荐(0) 编辑
摘要:一般来说,分布式事务的实现主要有以下 5 种方案: 两阶段提交方案(两阶段提交 事务):适用于单库 TCC 方案(Try、Confirm、Cancel) : 代码手动提交,回滚事务 本地消息表(异步确保一致性): A 系统发送端通过发送mq,同时记录本地数据库,B系统去消费,消费成功修改A系统数据状 阅读全文
posted @ 2020-02-19 00:06 威兰达 阅读(132) 评论(0) 推荐(0) 编辑
摘要:【消息队列】从各方面比较下kafka、activemq、rabbitmq、rocketmq之间的区别 一.单机吞吐量ActiveMQ:万级,吞吐量比RocketMQ和Kafka要低了一个数量级RabbitMQ:万级,吞吐量比RocketMQ和Kafka要低了一个数量级RocketMQ:10万级,Ro 阅读全文
posted @ 2020-02-18 13:59 威兰达 阅读(1175) 评论(0) 推荐(0) 编辑
摘要:Kafka 是LinkedIn 开发的一个高性能、分布式的消息系统. 用途:广泛用于日志收集、流式数据处理、在线和离线消息分发等场景。 1. Kafka 将消息流按Topic 组织,保存消息的服务器称为Broker,消费者可以订阅一个或者多个Topic。为了均衡负载,一个Topic 的消息又可以划分 阅读全文
posted @ 2019-10-21 11:54 威兰达 阅读(1481) 评论(0) 推荐(0) 编辑
摘要:举例:https://blog.csdn.net/qq_35387940/article/details/100514134 Windows下RabbitMQ安装及配置地址: https://blog.csdn.net/zhm3023/article/details/82217222RabbitMQ 阅读全文
posted @ 2019-10-17 16:04 威兰达 阅读(555) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示