Hadoop 小文件处理
摘要:
1. 小文件的产生原因 定义: 当一个文件的大小小于 HDFS 的块大小(默认128MB)就认定为小文件,否则就是大文件 1. 批处理,离线计算, 会有小文件的产生; 2. 数据处理时,把数据源搬迁到 HDFS,如果数据源本身就是有很多小文件; 3. MapReduce作业 和 Spark作业时,没 阅读全文
posted @ 2020-04-29 21:07 一剑风徽 阅读(1273) 评论(0) 推荐(0) 编辑