2019年3月18日
YARN学习总结之架构
摘要： 一、yarn产生背景 1) 源于MRv1的缺陷：扩展性受限、单点故障、难以支持MR之外的计算框架； 2) 多计算框架各自为战，数据共享困难，资源利用率低； MR: 离线计算框架 Storm：实时计算框架 Spark：内存计算框架 催生了YARN的产生 二、yarn架构 1、ResourceManag 阅读全文
posted @ 2019-03-18 09:40 技术小白丁 阅读(396) 评论(0) 推荐(0) 编辑
HDFS读写流程
摘要： 1、HDFS写流程 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本 1）跟NN通信 阅读全文
posted @ 2019-03-18 09:39 技术小白丁 阅读(8435) 评论(0) 推荐(2) 编辑
HDFS学习总结之API交互
摘要： 第一种、shell交互 官方文档：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/FileSystemShell.html 例子： 1、 hdfs dfs - 阅读全文
posted @ 2019-03-18 09:38 技术小白丁 阅读(369) 评论(0) 推荐(0) 编辑