摘要：背景：公司线下ETC机房有个Mycat集群，供订单系统使用，现需要进行数据异构将Mysql数据(近)实时写入另一套数据库用作读请求和数据归档用技术选型：binlog解析工具：阿里开源的canal 消息中间件：kafka 流式框架：SparkStreaming上代码canal解析mysqlbinlog 阅读全文

摘要：Apache Kafka 发布与订阅消息系统 kafka介绍： Kafka就是一款基于发布与订阅的梢息系统。它一般被称为 “分布式提交日志”或者“分布式流平台”。文件系统或数据库提交日志用来提供所有事务的持久记录 ， 通过重放这些日志可以重建系统的状态。同样地， Kafka 的数据是按照 一定 顺序 阅读全文

摘要：讨论QQ：1586558083 目录 一、简介 1.1　概述 1.2　消息系统介绍 1.3　点对点消息传递模式 1.4　发布-订阅消息传递模式 二、Kafka的优点 2.1　解耦 2.2　冗余（副本） 2.3　扩展性 2.4　灵活性&峰值处理能力 2.5　可恢复性 2.6　顺序保证 2.7　缓冲 2 阅读全文

摘要：消息队列具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，是成为异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。 本文主要探讨主流的消息队列MQ 阅读全文

摘要：在高并发业务场景下，典型的阿里双11秒杀等业务，消息队列中间件在流量削峰、解耦上有不可替代的作用。 Mike前面分享了MQ消息队列的设计、核心原理、以及与RPC远程调用的区别等内容。今天我们一起来探讨： 全量的消息队列究竟有哪些？ Kafka、RocketMQ、RabbitMQ的优劣势比较； 以及消 阅读全文

摘要：Broker差异 主从差异 kafka的master/slave是基于partition维度的，而rocketmq是基于broker维度的；kafka的master/slave是可以切换的，而rocketmq不行，当rocketmq的master宕机时，读能被路由到slave上，但写会被路由到此to 阅读全文