KafkaProducer 发送消息流程

  Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了 两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。 main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取 消息发送到 Kafka broker

  

 

   发送数据先经常拦截器、序列化器、分区器(默认轮询分区)。

 

batch.size:只有数据积累到 batch.size 之后,sender 才会发送数据。

linger.ms:如果数据迟迟未达到 batch.size,sender 等待 linger.time 之后就会发送数据。

 

posted on 2020-08-08 17:03  wsw_seu  阅读(1645)  评论(0编辑  收藏  举报

导航