摘要:
YARN产生的背景 Hadoop相关概念 Hadoop 1.0 由HDFS、MapReduce组成。 Hadoop 2.0 克服1.0中HDFS和MapReduce存在的各种问题而提出的。 YARN是Hadoop中的资源管理系统。 基本架构 The Scheduler is responsible 阅读全文
摘要:
HDFS(Hadoop Distributed File System)Hadoop分布式文件系统。 一、HDFS产生的背景 随着数据量越来越大,如果大到一台主机的磁盘都存放不下,该如何解决这个问题。一种思路是将数据分片放到多台主机上。如果放到多台主机上,又该怎么去管理,如果有些主机宕机了,数据丢失 阅读全文