摘要：
1、kafka支持多集群吗 ① 如果是单次操作场景，当前进程处理完毕后就结束，这是没有问题，不同的topic消息推送到不同的集群 ② 如果是常驻进程（即进程开启后一直存在），就会有问题 问题原因：kafka内部是单例模式，建立连接后就会一直保持连接状态，在推送消息前，会先判断当前集群是否包含相应的t 阅读全文
摘要：
1、redis和kafka Redis：noSQL类型数据库，键值存储结构，包含客户端和服务器两个主要过程，没有表/行/列/函数等结构，不支持select/insert/delete等操作命令 Kafka：发布-订阅消息系统，因其高吞吐量的特性，几乎可以认为达到实时处理数据的要求 2、区别 2-1、 阅读全文
摘要：
首先，Kafka消息是基于磁盘存储，持久化到硬盘，有数据检查，多副本容错，并且数据的保存时间可以设置的，所以，如果把数据保留策略设置为”永久“后者启用主题的日志压缩功能，那么数据就是可以被永久保留的，设计意图之一就是要作为数据存储系统，而且现在其实大家一直这么干了，但是为啥要这么做呢 应用场景： ① 阅读全文
摘要：
一. 如何保证消息的可靠传输 数据丢失分两种：mq自身丢失数据；消费环节丢失数据 1、kafka自身丢失数据 问题场景：kafka某个broker宕机，然后重新选举partiton的leader时 解决方案： ① 给这个topic设置replication.factor参数：这个值必须大于1，要求每 阅读全文
摘要：
Kafka为啥速度快 大家皆知kafka是分布式部署具有高可用性，brokers集群制+partition分区模式提升了容灾能力，数据是存储在磁盘上确保了数据的持久化。Redis速度快是因为其基于内存存储实现的数据库，内存读写省去了磁盘I/O的消耗，所以会很快，但是kafka是基于磁盘存储的，为啥具 阅读全文
摘要：
关于kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有类似JMS的特性，但设计与实现完全不同，也并不是JMS规范实现的，显式分布式架构设计，producer、broker（kafka）和consumer都可以有多个 消息的生产及消息传递： 阅读全文
摘要：
消息队列技术的应用 1、解耦：消息队列要解决本质问题 2、广播模式：消息队列的基本功能之一，有了消息队列，只需要关心消息是否送达了队列，至于谁需要订阅，是下游消费者的事情，极大地减少了开发和联调的工作量 3、错峰和控流：秒杀业务用于流量削峰场景（流量削峰） 4、最终一致性：最终一致性指的是两个系统的 阅读全文