[大数据] Hadoop简述

1 Hadoop：发展沿革

摘要：1个人（Doug Cutting）、2个公司(Google、Cloudera)

1.1 渊源

  • Hadoop项目
    • 最初开发者/创始者： Doug Cutting（道格·卡丁，现任 Apache 基金会的主席)
      • 1985年 毕业于 美国斯坦福大学
      • 1997年 发布 Lucene 项目
      • 2004年 发布 Nutch 项目
      • 2006年 发布 Hadoop项目(Hadoop从Nutch中独立，以便支持MapReduce与HDFS的发展)
      • 2006年2月 受邀加入 Yahoo
      • 2009年 以首席架构师身份加入 Cloudera(2008.6.27成立/2017年上市)
      • 20xx年 当选 Apache 基金会主席
    • 命名由来：Doug Cutting 起先给他孩子的1个棕色的大象的玩具的名字（简短、容易发音、易于拼写）
    • 最初的模块： HDFS 与 MapReduce （后期不断加入Hbase、Hive等子模块项目，直至最终Hadoop泛化成为云计算与大数据产业链中的1个超大概念）
    • 灵感的起源：Google的3篇论文

1.2 发展沿革

1.3 Cloudera公司

2 Hadoop：体系架构与软件生态

  • 黑框：非Hadoop原本组件
  • 红框：Hadoop核心组件

[推荐文献]

3 Hadoop：模块构成

  • Hadoop Common：支撑其他模块
  • Hadoop Distributed File System ：分布式文件系统（对应用系统提供高吞吐量的访问）
  • Hadoop Yarn：资源管理和任务调度的框架
  • Hadoop MapReduce：能够并行处理大数据集的Yarn最核心、最基本模块
  • Apache Sqoop: RDBMS(MySQL / Oracle等)与Hadoop(HBase/Hive/HDFS等)之间导入/迁入、导出/迁出的ETL工具

推荐此文:Sqoop学习之路 （一） - 博客园

4 Hadoop发行版(开源版)

Apache Hadoop

推荐使用最新的2.x.x版本，比如:2.4.0。Apache版本是最原始（最基础）的版本，对于入门学习最好。
下载地址:http://hadoop.apache.org/releases.html
SVN: http://svn.apache.org/repos/asf/hadoop/common/branches

CDH(Cloudera Distributed Hadoop)

推荐使用最新的CDH5版本，比如: 5.0.0
下载地址: http://archive.cloudera.com/cdh5/cdh

（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。

（2）2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support

（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。

（4）Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。

（5）Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

HDP(Hortonworks Data Platform)

推荐使用最新的HDP2.x版本，比如：HDP2.1
下载地址: http://zh.hortonworks.com/hdp/downloads

（1）2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。

（3）雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。

（4）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。

（5）HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook开源的Hive中。Hortonworks的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。

（6）Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的microsoft Windows平台上本地运行。定价以集群为基础，每10个节点每年为12500美元。

其它厂商(国内)

Fusion Insight - HUAWEI

华为FusionInsight 是基于开源社区软件Hadoop 进行功能增强，提供企业级大数据存储、 查询和分析的统一平台，帮助企业快速构建海量数据信息处理系统。

通过对各类海量数据信息进行实时和非实时的分析和挖掘，帮助企业从海量数据信息中获取到真正的价值，及时洞察和决策新的机会与风险。

FusionInsight HD 2.6 大数据平台的逻辑架构图如下，包含：

TDH/Transwarp Data Hub - 星环

X 推荐文献

  • 书籍
    • 2013 《大数据时代》 维克托·迈尔-舍恩伯格/肯尼斯·库克耶(著) 周涛等译 非技术语言描述
      • 2位作者系“大数据”概念的最早提出者(2008年 提出)
    • 2014 《数据之巅》 阿里巴巴副总裁涂子沛
    • 2016 《为数据而生》电子科技大学计算机学院周涛教授（第1本书的译者）
    • 2017 《Hadoop大数据开发 - 案例教程与项目实战》 人民邮电出版社
  • 博文
posted @ 2020-04-25 17:23  千千寰宇  阅读(699)  评论(0)  编辑  收藏  举报