分布式消息队列之kafka

什么是Kafka?
Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点。
Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上,并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。
它与Apache Storm和Spark非常好地集成,用于实时流式数据分析。

Kafka的几个好处
可靠性 - Kafka是分布式,分区,复制和容错的。
可扩展性 - Kafka消息传递系统轻松缩放,无需停机。
耐用性 - Kafka使用分布式提交日志,这意味着消息会尽可能快地保留在磁盘上,因此它是持久的。
性能 - Kafka对于发布和订阅消息都具有高吞吐量。 即使存储了许多TB的消息,它也保持稳定的性能。
Kafka非常快,并保证零停机和零数据丢失。

Kafka源码中的Producer Record定义:
1.ProducerRecord 含义: 发送给Kafka Broker的key/value 值对
2.内部数据结构:
-- Topic (名字)
-- PartitionID ( 可选)
-- Key[( 可选 )
-- Value
3.生产者记录(简称PR)的发送逻辑:
1 )若指定Partition ID,则PR被发送至指定Partition
2 )若未指定Partition ID,但指定了Key, PR会按照hasy(key)发送至对应Partition
3 )若既未指定Partition ID也没指定Key,PR会按照round-robin模式发送到每个Partition
4 )若同时指定了Partition ID和Key, PR只会发送到指定的Partition (Key不起作用,代码逻辑决定)
4.生产者记录(PR)的实现:
针对3,提供三种构造函数形参:
-- ProducerRecord(topic, partition, key, value)
-- ProducerRecord(topic, key, value)
-- ProducerRecord(topic, value)

posted on 2020-07-30 12:06  @atn  阅读(142)  评论(0编辑  收藏  举报

导航