Hadoop介绍
FLowUs邀请链接：https://flowus.cn/login?code=AXNU63
FlowUs邀请码：AXNU63
Hadoop是什么？
- Hadoop是由Apache基金会所开发的分布式系统基础架构
- 主要解决，海量数据的存储和海量数据的分析计算问题
- 广义上来说，Hadoop通常是指一个更广泛的概念—-Hadoop生态圈
Hadoop发展历史
-
Lucene框架是Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎
-
2001年底Lucene成为Apache基金会的一个子项目
-
对于海量数据的场景，Lucene面对与Google同样的困难，存储数据困难，检索速度慢
-
学习和模仿Google解决这些问题的办法：微型版Nutch
-
可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文）
- GFS → HDFS
- Map-Reduce → MR
- BigTable → HBase
-
2003年到2004年，Google公开了部分GFS和MapReduce的思想细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升
-
2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会
-
2006年3月份，Map-Reduce和Nutch Distributed File System（NDFS）分别被纳入称为Hadoop的项目中
-
名字来源于Doug cutting儿子的玩具大象
-
Hadoop就此诞生并迅速发展，标志着大数据时代来临
Hadoop三大发行版本
Apache hadoop 版本最原始（最基础）的版本，对入门学习最好
Cloudera 在大型公司的企业中用的较多
Hortonworks 文档较好
cloudera hadoop
2008年成立的cloudera是最早将hadoop商用的公司，为合作伙伴提供hadoop的商用解决方案，主要包括支持、咨询服务、培训
2009年，hadoop创始人Doug cutting也加盟cloudera公司。Cloudera公司的主要产品是CDH，Cloudera Manager，Cloudera Support
CDH是Cloudera的Hadoop发行版，完全开源，比Apache hadoop在兼容性，安全性，稳定性上有所增强
Cloudera Manager是集群的软件分发及管理监控平台，可以在几小时内部署好一个hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对hadoop的技术支持
Cloudera的标价为每年每个节点4000美元。
Cloudera开发并贡献了可实时处理大数据的Impala项目
hortonworks hadoop
2011年成立的hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。
公司成立之初就吸纳了大约25到30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年初开始协助雅虎开发Hadoop，贡献了Hadoop 80%的代码
雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任hortonworks的首席执行官
hortonworks主打的产品是hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统
HCatalog，一个元数据管理系统，现已集成到Facebook开源的Hive中
hortonworks的Stinger开创性的极大的优化了Hive项目
hortonworks为入门提供了一个非常好的，易于使用的沙盒
hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Windows Server和Windows Azure在内的Microsoft Windows平台上本地运行。
定价以集群为基础，每10个节点每年12500美元
Hadoop的优势
- 高可靠性：Hadoop底层维护多个数据副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失
- 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点
- 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理的速度
- 高容错性：能够自动将失败的任务重新分配
