Hadoop简述

一：什么是Hadoop？

　　（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构

　　（2）主要解决海量数据的存储和计算问题

　　（3）广义来讲，Hadoop指的是Hadoop生态圈

 

二：Hadoop三大发行版本

　　（1）Apache:最基础原始的版本，适合入门学习

　　（2）Cloudera:在大型互联网企业中用的最多

　　（3）Hortonworks:文档好

 

三：Hadoop的优势

　　（1）高可靠性：Hadoop底层维护有多个数据副本，所以即使Hadoop上某台计算机（节点）的数据出了问题，也不会导致数据丢失

　　（2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点

　　（3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度

　　　　　　　　  海量数据的计算是非常消耗性能的，一台计算机的内存是不够用的。Hadoop可以让多个节点的内存一起来计算，这样就能更快的计算。

　　（4）高容错性：能够自动将失败的任务重新分配

 

四：Hadoop组成

　　Hadoop组成在1版本和2版本是不同的，现在使用的是2.0以后的版本

　　Hadoop2.x将MapReduce的资源调度功能提取成一个新的模块放在Yarn里，这样·可以·减少耦合度。