摘要:
1.1 什么Zookeeper? 开源的分布式应用程序协调服务器,为分布式系统提供一致性服务。通过Paxos算法和ZAB协议完成,主要功能包括:配置维护、域名服务、分布式同步、集群管理 1.2 一致性 1.2.1 顺序一致性 同一个客户端发起的多个事务请求,最终会严格按照其发起顺序记录到zk中 1. 阅读全文
摘要:
1. 使用场景:Kafka适合日志处理;RocketMQ适合业务处理 2. 性能:Kafka吞吐量更高,单机百万/秒;RocketMQ单机10万/秒。 因为Kafka一个topic有很多partition,代表很多目录,每个目录下有很多segment,每个代表一个消息文件,而RocketMQ存储消息 阅读全文
摘要:
1.1 消息路由策略 生产者生产Record,其中包含key和value,key用于确定存放在哪个partition,value是真正的消息。 1. 指定了partition 2. 未指定partition,但指定了key,通过key的哈希值和partition的数量取模,计算索引 3. 都未指定, 阅读全文
摘要:
1.1 应用场景 日志聚合、数据监控、流处理等等 1.2 高吞吐率实现 Kafka将消息写入到低速大容量的硬盘,但仍然保持了超高的吞吐率,是因为: 顺序读写:在segment中采用顺序写 零拷贝:生产者、消费者对Kafka中的消息操作采用零拷贝实现 批量发送:Kafka允许使用批量消息发送模式 消息 阅读全文