2024年7月23日
Hadoop小文件优化：通过Spark实现小文件合并
Spark批处理小文件合并 /** * * @param sparkSession * @param absDir 要进行小文件合并的路径 * @param partitionSize 分块的大小（一般 128 ，即 128M ） * @param isDeleteBak 是否删除备份路径数据，1： Read More
posted @ 2024-07-23 15:47 MrSponge Views(80) Comments(0) Diggs(0) Edit