Kafka的集群搭建步骤

进到Kafka的config文件夹下,会发现有很多很多的配置文件,可是都不需要你来修改,你仅仅需要点开一个叫作server.properties的文件就够了。

【broker.id】

每个broker都必须自己设置的一个唯一id,可以在0~255之间

【log.dirs】

这个极为重要,Kafka的所有数据就是写入这个目录下的磁盘文件中的,如果说机器上有多块物理硬盘,那么可以把多个目录挂载到不同的物理硬盘上,然后这里可以设置多个目录,这样Kafka可以数据分散到多块物理硬盘,多个硬盘的磁头可以并行写,这样可以提升吞吐量。ps:多个目录用英文逗号分隔

【zookeeper.connect】

连接Kafka底层的ZooKeeper集群的

【Listeners】

broker监听客户端发起请求的端口号,默认是9092

【num.network.threads】默认值为3

【num.io.threads】默认值为8

细心的朋友们应该已经发现了,这就是上一篇我们在网络架构上提到的processor和处理线程池的线程数目。 所以说掌握Kafka网络架构显得尤为重要。 现在你看到这两个参数,就知道这就是Kafka集群性能的关键参数了

【unclean.leader.election.enable】

默认是false,意思就是只能选举ISR列表里的follower成为新的leader,1.0版本后才设为false,之前都是true,允许非ISR列表的follower选举为新的leader

【delete.topic.enable】

默认true,允许删除topic

【log.retention.hours】

可以设置一下,要保留数据多少个小时,这个就是底层的磁盘文件,默认保留7天的数据,大数据培训根据自己的需求来就行了

【min.insync.replicas】

acks=-1(一条数据必须写入ISR里所有副本才算成功),你写一条数据只要写入leader就算成功了,不需要等待同步到follower才算写成功。但是此时如果一个follower宕机了,你写一条数据到leader之后,leader也宕机,会导致数据的丢失。

因为实际的集群搭建说真的没有太大难度,所以搭建的过程就不详细展开了,网上应该很多相关资料。

posted @ 2022-01-17 11:19  Linux运维阿铭  阅读(396)  评论(0编辑  收藏  举报