Hudi-数据写操作流程
概述
在hudi数据湖框架中支持三种方式写入数据：UPSERT（插入更新）、INSERT（插入）和BULK INSERT（写排序）
UPSERT：默认行为，数据先通过index打标（INSERT/UPDATE），有一些启发式算法决定消息的组织以优化文件的大小
INSERT：跳过index，写入效率更高
BULK_INSERT：写排序，对大数据量额hudi表初始化友好，对文件大小的限制best effort（写HFile）
UPSERT写入流程
COW类型表，UPSERT写入流程
1.先对records按照record key去重
2.首先对这批数据创建索引（HoodieKey => HoodieRecordLocation）,根据record key和分区路径构建索引;通过索引区分哪些records是update，哪些records是insert（key第一次写入）
3.对于update消息，会直接找到对应key所在的最新FileSlice的base文件，并做merge后写新的base file（新的FileSlice）
4.对于insert消息，会扫描当前partition的所有SmallFile(小于一定大小的base file)，然后merge写新的FileSlice，如果没有SmallFile，直接写信的FileGroup + FileSlice;
MOR类型表，UPSERT写入流程
1.先对records按照record key去重
2.首先对这批数据创建索引（HoodieKey => HoodieRecordLocation）,根据record key和分区路径构建索引;通过索引区分哪些records是update，哪些records是insert（key第一次写入）
3.如果是insert消息
A.如果log file不可建索引（默认），会尝试merge分区内最小的base file（不包含log file的FileSlice），生成新的FileSlice；如果没有base file就新写一个FileGroup + FileSlice + base file
B.如果log file可建索引，尝试append小的log file，如果没有就新写一个FileGroup + FileSlice + base file
4.如果是update消息，写对应的FileGroup + FileSlice，直接append最新的log file（如果碰巧是当前最小的文件，会merge base file，生成新的FileSlice）log file大小达到阈值会roll over一个新的
INSERT写入流程
COW类型表，INSERT写入流程
1.先对records按照record key去重（可选）
2.不会创建index
3.如果有小的base file文件，merge base file，生成新的FileSlice + base file，否则直接写新的FileSlice + base file
MOR类型表，INSERT写入流程
1.先对records按照record key去重（可选）
2.不会创建index
3.如果log file可索引，并且有小的FileSlice，尝试追加或写最新的log file；如果log file不可索引，写一个新的FileSlice + base file
