2023年1月27日
【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile）
摘要： Hadoop的HDFS和MapReduce都是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源。 在【Hadoop】HDFS高可用与高扩展原理分析（HA架构与Federation机制）这篇博客中有提到HDFS的小文件问题，集群启动时DataNode会向NameNode上报所 阅读全文
posted @ 2023-01-27 14:54 ccql 阅读(24) 评论(0) 推荐(0) 编辑