Kafka事务机制
摘要：挑战不可能，努力 2020-08-20 15:19:11 707 收藏 分类专栏： 大数据 版权 Kafka 是一个高度可扩展的分布式消息系统，在海量数据处理生态中占据着重要的地位。 数据处理的一个关键特性是数据的一致性。具体到 Kafka 的领域中，也就是生产者生产的数据和消费者消费的数据之间一对
阅读全文
posted @ 2021-04-14 16:41
随笔分类 - 消息队列
RabbitMQ事务机制
摘要：转载：https://honeypps.com/mq/rabbitmq-message-confirm-strategy/ 概述在使用RabbitMQ的时候，我们可以通过消息持久化操作来解决因为服务器的异常奔溃导致的消息丢失，除此之外我们还会遇到一个问题，当消息的发布者在将消息发送出去之后，消息到底
阅读全文
posted @ 2021-04-14 16:25
RocketMQ事务消息
摘要：RocketMQ事务消息实现原理 文章目录 RocketMQ事务消息实现原理 事务消息 RocketMQ事务消息流程概要 1.事务消息发送及提交 2.补偿流程 RocketMQ事务消息设计 1.事务消息在一阶段对用户不可见 2.Commit和Rollback操作以及Op消息的引入 3.Op消息的存储
阅读全文
posted @ 2021-04-14 15:17
MQ消息堆积处理
摘要：1.大量消息在mq里积压 场景：几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多。线上故障了，这个时候要不然就是修复consumer的问题，让他恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条，一秒3个消费者是3000条，
阅读全文
posted @ 2021-04-09 18:40
kafka环境搭建测试
摘要：一、安装 1. 下载：去kafka官网下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz 2. 解压：tar -xzf kafka_2.11-0.9.0.1.tgz 3. 修改配置文件
阅读全文
posted @ 2016-09-28 14:48
