HDFS面试准备
hdfs有点:高容错性。自动保存多个副本,副本丢失自动恢复,文件处理规模大,可以放置在廉价的机器上面
缺点:hdfa对每一个小文件都有记录,无论大小都会占用内存解决方法是合并处理,不适合低延时的数据访问
文件块的大小决定于磁盘的数据传输效率:一般的是128mb,老版本是64mb,本地模式是32mb,
太大的话就会一直占用线程传输数据,倒是结果还会很慢。。
创建多级目录:mkdir -p *** 需要添加多级目录的-p
hdffs只支持追加不支持在线修改,就是只支持在他后面追加文件内容。不能修改
bin/hadoop fs 执行命令行,是父类,bin/hdfs dfs是一个子类