摘要: Yarn的概述 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运行于操作系统之上的应用程序 Yarn的重要概念 1、 yarn并不清楚用户提交的程序的运行机制 2、 yarn只提供运算资源的调度(用户程序向yarn 阅读全文
posted @ 2018-12-11 11:42 dummyly 阅读(639) 评论(0) 推荐(0) 编辑
摘要: MapReducer基本概念 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架; Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。 基本结构 一个完整的mapr 阅读全文
posted @ 2018-12-11 10:31 dummyly 阅读(373) 评论(0) 推荐(0) 编辑