摘要:
一、yarn产生背景 1) 源于MRv1的缺陷:扩展性受限、单点故障、难以支持MR之外的计算框架; 2) 多计算框架各自为战,数据共享困难,资源利用率低; MR: 离线计算框架 Storm:实时计算框架 Spark:内存计算框架 催生了YARN的产生 二、yarn架构 1、ResourceManag 阅读全文
摘要:
1、HDFS写流程 客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后,客户端按顺序将文件逐个block传递给相应datanode,并由接收到block的datanode负责向其他datanode复制block的副本 1)跟NN通信 阅读全文
摘要:
第一种、shell交互 官方文档:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/FileSystemShell.html 例子: 1、 hdfs dfs - 阅读全文