HDFS常问面试题

1.读写流程

2.默认块大小

　　集群模式：128m

　　本地模式：32m

　　hadoop1.x：64m

　　业务开发：128m 256m

　　hive的文件块：256m

3.小文件

　　namenode 内存128g    一个文件块占用namenode 150字节   128*1024*1024*1024字节/150字节=9亿多 【har归档，自定义FileInputformat  seq(k文件名称 v 内容) 】

　　增加了切片书，maptask(1g)  【combineInputformat  减少切片个数，来减少maptask】

　　　　　　　　　　　　　　　【开启JVM重用，不然大量时间浪费在开始、结束时间上