摘要: 分布式计算框架MapReduce(离线批处理) 特点: 易于编程 良好的扩展性 高容错性 海量数据的离线处理 不擅长场景 实时计算、流式计算、DAG计算 YARN架构 1 RM(ResourceManager) + N NM(NodeManager) ResourceManager的职责:一个集群a 阅读全文
posted @ 2020-05-13 16:56 自由的射手 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 课程软件存放目录 hadoop/hadoop /home/hadoop software:存放安装的软件包 app:存放的是所有软件的安装目录 data:存放的是课程中所有使用的测试数据目录 source:存放的是软件源码目录,spark Hadoop环境搭建1)下载Hadoop http://ar 阅读全文
posted @ 2020-05-13 14:47 自由的射手 阅读(134) 评论(0) 推荐(0) 编辑