大数据学习（1）---认识HaDoop工具

Hadoop是什么？

Hadoop：适合大数据的分布式存储和计算平台

HadoopHadoop不是值具体一个框架或者组建爱你，它是Apache软件基金会下用Java语言开发的一个家园分布式计算平台（开源）。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。

 

Hadoop核心组件：

MapReduce和Hadoop Distributed File System（HDFS），HBase 

其中HDFS负责蒋海量数据进行分布式存储，而MapReduceeduce负责提供对数据的计算结果的汇总

MapReduce  ---》 大数据处理

HDFS   ----》MapReduce 大数据统计分析 计算问题

HBase  ---> Big Table Nosql数据库

 

Hadoop神态系统

 

 1. Hadoop核心，HDFS， MapReduce

2. Hive 通过SQL语句形式执行mapreduce

3. Hbase Nosql数据库

4. Flume 日志采集工具

5. Sqoop sql to hadoop 将数据导入Hadoop中

6. Zookeeper 协调服务工具

7. Mahout  算法库

8. Pig 是MapReduce的一个抽象， 它是一个工具/平台， 用于分析较大的数据库，并就爱那个它们表示为数据流。

 

Hadoop HDFS简单原理