摘要: 1.1 YARN基本架构 YARN是Hadoop2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。 1.2 ... 阅读全文
posted @ 2016-09-27 17:11 张有路 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 参考:http://www.cnblogs.com/linuxprobe/p/5594431.html 1.初识HDFS HDFS作为一个分布式文件系统,具有高容错的特点,它可以部署在廉价的通用硬件上,提供高吞吐率的数据访问(吞吐率:是对一个系统和它的部件处理传输数据请求能力的总体评价),适合那些需要处理海量数据集的应用程序。 1.1 HDFS主要特性 支持超大文件。超大文件... 阅读全文
posted @ 2016-09-27 10:55 张有路 阅读(184) 评论(0) 推荐(0) 编辑