hudi clustering 数据聚集（三 zorder使用）

目前最新的 hudi 版本为 0.9，暂时还不支持 zorder 功能，但 master 分支已经合入了（RFC-28)，所以可以自己编译 master 分支，提前体验下 zorder 效果。

环境

1、直接下载 master 分支进行编译，本地使用 spark3，所以使用编译命令：

mvn clean package -DskipTests -Dspark3

2、启动 spark-shell，需要指定编译出来的 jar 路径：

spark-shell --jars /<path-to-hudi>/packaging/hudi-spark-bundle/target/hudi-spark3-bundle_2.12-0.10.0-SNAPSHOT.jar  --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer'

zorder commit 代码简略分析

相关配置

在 HoodieClusteringConfig.java 中添加了 zorder 相关的配置，主要包括：

• 该功能的使能（默认关闭）
• 该功能使用的曲线类型（目前只实现 z-order，后续会实现 hilbert）
• 曲线生成方式（包括 direct 和 sample，默认为 direct）
• 数据跳过功能（默认开启）。

相关依赖

1、该配置在 HoodieClusteringConfig 定义，所以该功能的运行需要依赖 clustering ，会在聚集操作后对数据进行重新排序、写入。

2、该功能会生成自己的索引，索引记录的位置在 .hooie/.zindex 下，在 HoodieTableMetaClient.java 中定义: public static final String ZINDEX_NAME = ".zindex";

3、该功能的索引列，由 hoodie.clustering.plan.strategy.sort.columns 决定，可指定多列，不同列用英文逗号分割，具体可参考 updateOptimizeOperationStatistics 函数。

相关限制

1、该功能目前支持 spark，暂时没有提供 Flink 和 Java 的实现。

2、在 zindex 中，只记录了最大值、最小值 和 null 值个数，具体可参见 saveStatisticsInfo 函数。

3、该功能支持的数据类型，具体可参见 createZIndexedDataFrameByMapValue 函数。

zvalue实现

1、direct 的 zvalue 生成： ZCurveOptimizeHelper.java。

2、sample 的 zvalue 生成： RangeSample.scala。

spark-shell 代码

import org.apache.hudi.QuickstartUtils._
import scala.collection.JavaConversions._
import org.apache.spark.sql.SaveMode._
import org.apache.hudi.DataSourceReadOptions._
import org.apache.hudi.DataSourceWriteOptions._
import org.apache.hudi.config.HoodieWriteConfig._
import org.apache.hudi.config.HoodieClusteringConfig._

val t1 = "t1"
val t2 = "t2"
val basePath = "file:///tmp/hudi_data/"
val dataGen = new DataGenerator(Array("2020/03/11"))

// 生成数据
var a = 0;
var ups = new Array[java.util.ArrayList[String]](8)
var ups = new Array[java.util.List[String]](8)
for (a <- 0 to 7) {
    ups(a) = convertToStringList(dataGen.generateInserts(10000));
}

for (a <- 0 to 7) {
    val df = spark.read.json(spark.sparkContext.parallelize(ups(a), 1));
    
    df.write.format("org.apache.hudi").
        options(getQuickstartWriteConfigs).
        option(PRECOMBINE_FIELD_OPT_KEY, "ts").
        option(RECORDKEY_FIELD_OPT_KEY, "uuid").
        option(PARTITIONPATH_FIELD_OPT_KEY, "partitionpath").
        option(TABLE_NAME, t1).
        // 每次写入的数据都生成一个新的文件		
        option("hoodie.parquet.small.file.limit", "0").
        mode(Append).
        save(basePath+t1);

    df.write.format("org.apache.hudi").
        options(getQuickstartWriteConfigs).
        option(PRECOMBINE_FIELD_OPT_KEY, "ts").
        option(RECORDKEY_FIELD_OPT_KEY, "uuid").
        option(PARTITIONPATH_FIELD_OPT_KEY, "partitionpath").
        option(TABLE_NAME, t2).
        // 每次写入的数据都生成一个新的文件		
        option("hoodie.parquet.small.file.limit", "0").
        // 每次操作之后都会进行clustering操作
        option("hoodie.clustering.inline", "true").
        // 每4次提交就做一次clustering操作
        option("hoodie.clustering.inline.max.commits", "8").
        // 指定生成文件最大大小
        option("hoodie.clustering.plan.strategy.target.file.max.bytes", "1400000").
        // 指定小文件大小限制，当文件小于该值时，可用于被 clustering 操作
        option("hoodie.clustering.plan.strategy.small.file.limit", "1400000").
        // 指定排序的列
        option("hoodie.clustering.plan.strategy.sort.columns", "begin_lat,end_lat").
        // 使能zorder
        option(LAYOUT_OPTIMIZE_ENABLE.key(), true).
        mode(Append).
        save(basePath+t2);
}

// 创建临时视图
spark.read.format("hudi").load(basePath+t1).createOrReplaceTempView("t1_table")
spark.read.format("hudi").load(basePath+t2).createOrReplaceTempView("t2_table")

这里建立了2张表t1和t2，其中t1是普通的表，t2是使用了zorder排序的表。

共生成8组数据，总共80000条数据，生成对应8个数据文件（t2表修改文件的最大最小值，使其在数据合并之后仍然是8个文件，对应的配置是）hoodie.clustering.plan.strategy.target.file.max.bytes 和 hoodie.clustering.plan.strategy.small.file.limit。

针对 begin_lat 和 end_lat 列进行排序，使用默认的 direct 方式。

使用 inline 方式触发 clustering，在每 8 次提交进行一次 clustering。

现象及分析

1、在 t1 目录下，只有对应的 8 个 parquet 数据文件，在 t2 目录下，有 16 个 parquet 数据文件，其中 8 个是原始的数据文件，另外 8 个是 clustering 后新生成的数据文件。

2、在 t2 的 .hoodie 下 生成了 .zindex 目录：

可以使用 parquet-tool.jar 对该文件进行查看：

file = 8f06528b-47ae-4b13-b41f-0a5c78851705-0_1-725-722_20211111153247.parquet
begin_lat_minValue = 0.08211371450402716
begin_lat_maxValue = 0.9997316799855066
begin_lat_num_nulls = 0
end_lat_minValue = 0.007866719050410031
end_lat_maxValue = 0.9999245980998445
end_lat_num_nulls = 0

file = 53d66a45-d951-4e14-9344-ff187d12e9a5-0_0-725-721_20211111153247.parquet
begin_lat_minValue = 5.235437913420071E-6
begin_lat_maxValue = 0.9998301829548436
begin_lat_num_nulls = 0
end_lat_minValue = 7.622934875439746E-6
end_lat_maxValue = 0.9999316614851375
end_lat_num_nulls = 0

file = a0663218-7da0-4ac4-8ffc-4616d2d44d1c-0_2-725-723_20211111153247.parquet
begin_lat_minValue = 0.12506873541740904
begin_lat_maxValue = 0.999128795187336
begin_lat_num_nulls = 0
end_lat_minValue = 0.09383249599535315
end_lat_maxValue = 0.49995210011578595
end_lat_num_nulls = 0

file = 70192aaf-4766-441a-8781-ce381a54cf7c-0_3-725-724_20211111153247.parquet
begin_lat_minValue = 0.12503208286353262
begin_lat_maxValue = 0.4999482257584935
begin_lat_num_nulls = 0
end_lat_minValue = 0.25026158207678606
end_lat_maxValue = 0.9998244932648992
end_lat_num_nulls = 0

file = ebc3017f-f93a-4366-bc20-3b9d86d73111-0_7-725-728_20211111153247.parquet
begin_lat_minValue = 0.6250154203734088
begin_lat_maxValue = 0.9999920463384483
begin_lat_num_nulls = 0
end_lat_minValue = 0.5000295773327517
end_lat_maxValue = 0.9999604245270753
end_lat_num_nulls = 0

file = ec3f3bc8-3503-4642-b064-f93fa577ff83-0_6-725-727_20211111153247.parquet
begin_lat_minValue = 0.5000433340037777
begin_lat_maxValue = 0.9999933816913421
begin_lat_num_nulls = 0
end_lat_minValue = 0.3751232553589945
end_lat_maxValue = 0.9997198848519347
end_lat_num_nulls = 0

file = 91f80f48-1837-4ee8-993c-56ffb9669e9e-0_4-725-725_20211111153247.parquet
begin_lat_minValue = 0.25005205774731387
begin_lat_maxValue = 0.9999255937189415
begin_lat_num_nulls = 0
end_lat_minValue = 0.12500497130106802
end_lat_maxValue = 0.9999928793510746
end_lat_num_nulls = 0

file = 73d01fc5-e9b0-4216-afa5-86abffd082e4-0_5-725-726_20211111153247.parquet
begin_lat_minValue = 0.5000222416743727
begin_lat_maxValue = 0.9999855548910661
begin_lat_num_nulls = 0
end_lat_minValue = 0.18757377058575975
end_lat_maxValue = 0.49997508767465637
end_lat_num_nulls = 0

以上只截取前两个数据。在该文件中，会对所有的 parquet 文件进行统计，统计的数据包括最大值、最小值和null个数，统计的列就是使用 hoodie.clustering.plan.strategy.sort.columns 指定的列。当 spark 进行查询时，就会使用这些条件来判断是否要读取该数据文件。

3、这里可以使用 begin_lat 和 end_lat 看下过滤效果：

a、sql("select count(*) from t2_table where begin_lat < 0.2 and end_lat < 0.5").show()

总共80000条数据，查询了37420条数据，最终得到数据：7951。

b、sql("select count(*) from t2_table where begin_lat < 0.2 and end_lat > 0.8").show()

总共80000条数据，查询了27473条数据，最终得到数据：3210。

c、sql("select count(*) from t2_table where begin_lat > 0.9 and end_lat < 0.2").show()

总共80000条数据，查询了49567条数据，最终得到数据：1600。

d、sql("select count(*) from t2_table where begin_lat > 0.95 and end_lat < 0.02").show()

总共80000条数据，查询了18235条数据，最终得到数据：81。

4、在 t1 表中，由于没有对 begin_lat 和 end_lat 做任何处理，所以同样查询以上4条 sql 时，都会读取 80000 条数据，而使用 zorder 之后，只分别读取了 37420，27473，49567，18235 条数据，过滤效果提升明显。

其实，不使能 zorder 功能，而只使用 clustering 的排序功能，也能做一些过滤，但由于本次实验中使用的数据分布较为均匀，所以虽然也可以对两个字段做排序，但基本上只会对第一个字段有较好的过滤效果，有兴趣的可以自己尝试一下。