hadoop以及相关组件介绍以及个人理解
前言
本人是由java后端转型大数据方向，目前也有近一年半时间了，不过我平时的开发平台是阿里云的Maxcompute，通过这么长时间的开发，对数据仓库也有了一定的理解，ETL这些经验还算比较丰富。但是由于Maxcompute是一个更简单的大数据开发平台，导致个人在分布式计算的底层一些知识比较薄弱，所以这次决定花几个月时间好好学习一下hadoop，后续当然也会开始spark的学习。个人感觉这块学习的东西还是比较多，同时也要不断的实践的，所以这趟学习之旅，希望能够记录自己的一些心得体会，供自己参考，同时也希望能够和跟我一样刚入门的同学一起分享探讨。
注：我目前学习主要是参考官网文档，《Hadoop实战》,《Hadoop权威指南》
注2：本人主要是学习Hadoop的相关生态系统，去了解分布式计算大数据计算平台的底层的一些东西，所以期间我会抛弃一些运维相关的学习包括详细的部署，hadoop集群的安全策略等。
初始Hadoop
google的三篇论文(GFS,MapReduce,BigTable)很快促进了hadoop的面世，hadoop实际上起源于Nutch项目，于2006年2月正式启动，2008年开始hadoop正式火起来了。
Apache Hadoop和Hadoop 生态系统
- Common：一系列组件和接口，用于分布式文件系统和通用I/O
- Avro : 一种序列化系统，用于支持高效，跨语言的RPC和持久化数据存储
- MapReduce : 分布式数据处理模型和习性环境，也就是计算框架
- HDFS : 分布式文件系统
- Pig ：数据流语言和运行环境，用以探究非常庞大的数据集。pig运行在MapReduce和HDFS之上
- Hive : 一种分布式呢的 、按列存储的数据仓库。HIVE管理HDFS中存储的数据，并提供基于SQL的查询语言
- HBase：一种分布式的、按列存储的数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询，类似BigTable
- ZooKeeper：一种分布式的、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务用户构建分布式应用，对于java后端的 ，rpc相关的都是使用到ZooKeeper
- Sqoop：该工具用于在结构化数据存储和HDFS之间高效批量传输数据，也就是数据同步的工具
- Oozie：该服务用于运行和调度Hadoop作业，可以理解为一个工作流调度系统
HDFS和MapReduct体系结构
HDFS和MapReduce时Hadoop的两大核心，整个Hadoop的体系结构主要是通过HDFS俩实现分布式存储的底层支持的，并且会通过MapReduce来实现分布式并行任务处理的程序支持。
首先我们先来看一下HDFS的体系结构，HDFS采用了主从结构模型，HDFS集群是由一个NameNode(主)和若干个DataNode组成的，NameNode管理文件系统的命名空间和客户端对文件的访问操作；DataNode管理存储的数据；如下图：
接下来介绍一下MapReduce的体系结构，MapReduce框架是由一个单独运行在主节点的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。JobTracker负责调度构成一个作业的所有任务，从节点仅负责由主节点指派的任务。当一个job被提交时，JobTracker接收到提交作业和其配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。
浅谈一下HDFS,HBase和Hive
刚开始接触这些概念的时候，感觉稀里糊涂，不清楚这几个之间到底是什么区别，之所以会产生混淆，因为这几个都是跟Hadoop的数据管理有关，下面我们就简单分析一下。
HDFS的数据管理
我们知道操作系统都有自己的文件管理系统，而HDFS就是hadoop的分布式文件管理系统，举个例子，我们有个100GB的文件，用HDFS可能是放到100台机器上存储的，而我们不需要关心它是怎么存储以及怎么读取的。我们从NameNode,client,DataNode来简单介绍一下HDFS对数据的管理。
文件写入:
client向NameNode发起文件写入的请求 -----> NameNode根据文件大小和文件块配置，返回给client相关的DataNode的信息----->client将文件划分多个block，写入DataNode
文件读取：
client向NameNode发起文件读取请求--->NameNode返回DataNode信息----->client读取文件
文件块block复制
NameNode发现部分文件的block有问题或者DataNode失效--->通知DataNode相互复制block------>DataNode开始直接相互复制
HBase的数据管理
HBase时一个类似Bigtable的分布式数据库，它的大部分特性和Bigtable一样，是一个稀疏的、长期存储的、多维度的排序映射表，这张表的索引时行关键字，列关键字和时间戳。
HBase的一些特性可以参考这篇文章http://blog.csdn.net/macyang/article/details/6066622，说实话，我现在对HBase的理解还是很模糊的，因为也没有场景遇到过。暂且先在此记一下相关概念。
Hbase体系结构三大重要组成部分：HRegion HBaseMaster HBase Client
Hive的数据管理
毫无疑问，Hive将是我们使用最多的工具，包括我在Maxcompute上开发，其实主要工作也是类似Hive QL,Hive的定义很简单，它是建立在Hadoop上的数据仓库基础框架，它提供了一系列的工具，来进行数据的ETL。Hive定义了简单的类SQL的查询语言，简称Hive QL。因为Hive是一个数据仓库框架，所以按照使用层次我们可以从元数据存储、数据存储和数据交换三个方面来介绍。
1.元数据存储
元数据其实就是数据仓库中表名称，表的列，表的分区，表分区的属性等，Hive将元数据存储在RDMS中。
2.数据存储
Hive咩有专门的数据存储格式，也没有未数据建立索引，用户在创建表的时候只需要告诉Hive数据中的列分隔符和行分隔符，它就能解析数据了。
其次，Hive中所有的数据都存储在HDFS中（因为Hive其实只是一个数仓的框架，它是不包括存储的，我们可以简单的理解为通过列和行的分隔符，将文件中的每行数据映射成表的一条记录）
3.数据交换
我们通常使用Hive客户端链接HiveServer，当然也可以通过web界面去写sql，Hive的大部分查询实际上都是利用MapReduce进行计算的
另外，下图是Hive的数据交换图，我们可以简单的看一下
