case:kafka集群太多topic带来的问题
前段时间有个朋友遇到kafka集群的topic太多出现too many file类似的错误,只能搭建新的集群。
查找一些资料发现问题是:
topic太多造成partition过多。partition是kafka的最小并行单元,每个partition都会在对应的broker上有日志文件。
当topic过多,partition增加,日志文件数也随之增加,就需要允许打开更多的文件数。
partition过多在controller选举和controller重新选举partition leader的耗时会大大增加,造成kafka不可用的时间延长
目前kafka 1.1.0后的版本做了不少优化
参考链接: