hadoop

hadoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

• Hadoop作用
  Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 。HDFS仍然是现在分布式存储的核心组件，但是mapreduce因为早期的计算与存储设计的不足，被现在更广泛的spark或者其他计算引擎所替代，但是其核心仍然是借鉴了map与reduce思想。

• Hadoop各版本区别
  在Hadoop1.x时代，Hadoop中的mapreduce同时处理业务逻辑运算和资源的调度，耦合性较大。
  在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，Mapreduce只负责运算。
  Hadoop3.x在组成上没有变化。