手握太阳

摘要： 何时使用hadoop fs、hadoop dfs与hdfs dfs命令 编辑 删除 hadoop fs：使用面最广，可以操作任何文件系统。 编辑 删除 编辑 删除 hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一 阅读全文

摘要： Hadoop自带HDFS，即 Hadoop Distributed FileSystem（不是HaDoop FileSystem 的简称） 适用范围 超大文件：最新的容量达到PB级 流式数据访问：HDFS的构建思路：一次写入、多次读取时最高效的访问模式 低时间延迟的数据访问不适用HDFS 大量的小文 阅读全文

摘要： 术语： job（作业）：客户端需要执行的一个工作单元，包括输入数据、MP程序、配置信息 Hadoop将job分成若干task（任务）来执行，其中包括两类任务：map任务、reduce任务。这些任务在集群的节点上，并通过YARN进行调度 Hadoop将MP输入数据划分成等长的小数据块，成为“输入分片（input split）。Hadoop为每个分片构建一个map任务 多余大多数作业来说，一个合理... 阅读全文