Hadoop 存储深入理解(一)
深入了解Hadoop
hadoop的mapreduce的作业运行的时候 会在hdfs上缓存数据,因此hdfs的io很大程度上影响mapreduce的执行效率
HDFS是一种 覆盖型文件系统, Overlay file System. 文件分块存储,复制冗余存储是它的两个很重要的策略。
HDFS的读:
生成 FSDataInputStream对象,HDFS会在内存中建立 如下对象链表:
hadoop的mapreduce的作业运行的时候 会在hdfs上缓存数据,因此hdfs的io很大程度上影响mapreduce的执行效率
HDFS是一种 覆盖型文件系统, Overlay file System. 文件分块存储,复制冗余存储是它的两个很重要的策略。
HDFS的读:
生成 FSDataInputStream对象,HDFS会在内存中建立 如下对象链表: