hadoop概述

1.什么是Hadoop

1）Hadoop是一个由apache基金会所开发的一种分布式系统基础框架。

2）它只要解决的是海量数据的存储和海量数据的分析计算。

3）从广义上来讲，hadoop通常是指Hadoop生态圈。

 2.Hadoop的优势

1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障也不会导致数据的丢失。

2）高扩展性：在集群间分配任务数据，可方便扩展数以万计的节点。

3）高效性：在MapReduce的思想下，Hadoop市并行工作的，以加快任务处理的速度。

4）高容错性：能够自动将失败的任务重新分配。

3.Hadoop的组成

 

 Hadoop1.x中，MapReduce同时处理业务逻辑运算和资源调度

 

 在Hadoop2.x中增加了Yarn，Yarn只负责资源调度，MapReduce只负责运算