Flume和kafka produce相关配置

Flume和Kafka Produce的配置

我们一般都会知道Flume有三个组件：source、channel、sink

我们这篇文章主要是讲解一下$Flume$、$KafkaProducer(Kafka\mathrm{生}\mathrm{产}\mathrm{者})$、$KafkaCluster(Kafka\mathrm{集}\mathrm{群})$之间的关系。

我们在apache-flume-1.10版本的代码中可以看到。flume其实是用Kafka的生产者来向Kafka集群上传数据的。所以我们针对于生产者的优化，在flume中也可以使用了。

如果我们看过Kafka的调优，就可以知道，我们可以在$\mathrm{生}\mathrm{产}\mathrm{者}$的batch.size和linger.ms 。是达到多少数据量还是多少毫秒发送一次。

Kafka的吞吐量也主要受到生产者和消费者的影响。

我们可以在自己写的配置文件里面设置batch.size和linger.ms。设置如下：

我们来看看效果：

我们知道了生产者可以这样修改后。那么消费者也就理所当然的会了。