摘要:
一、介绍 一句话介绍:用于HDFS DataNode单节点内多个数据盘数据均衡。 官网介绍如下: Diskbalancer is a command line tool that distributes data evenly on all disks of a datanode. This too 阅读全文
摘要:
1.背景 在0.10.1版本下,用默认的index(FLINK_STATE),在upsert的模式下,几十亿级别的数据更新会很消耗内存以及ckp时过长,因此切换到0.11.0的BUCKET索引; 仅对于当前环境:flink1.13.2 + hudi 0.11.0-(master 2022.04.11 阅读全文
摘要:
Kafka 常用命令 适用于kafka-2.4.0 注意,如下命令是在kafka/bin目录下执行,如果配置了环境变量,可直接使用命令:如 kafka-topics xxxx ## 1. 查看topic消费到的offset kafka-run-class.sh kafka.tools.GetOffs 阅读全文