hadoop简介

一句话简述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。

Hadoop的由来

Google

爬取全球的网站，然后计算页面的PageRank

要解决网站的问题：

a：这些网站怎么存放

b：这些网站应该怎么计算

发布了三篇论文

a：GFS(Google File System)

b：MapReduce(数据计算方法)

c：BigTable：HBase

 

 

Doug cutting 花费了自己的两年业余时间，将论文实现了出来;.看到他儿子在牙牙学语时，抱着黄色小象，亲昵的叫 hadoop，他灵光一闪，就把这技术命名为 Hadoop，而且还用了黄色小象作为标示 Logo，不过，事实上的小象瘦瘦长长，不像 Logo 上呈现的那么圆胖。“我儿子现在 17 岁了，所以就把小象给我了，有活动时就带着小象出席，没活动时，小象就丢在家里放袜子的抽屉里。” Doug Cutting 大笑着说。

 

 

Hadoop(java)

自1.x

HDFS                       分布式文件系统

MapReduce  　　   计算框架

2.x之后多了 yarn     作业调度和集群资源管理框架

 

 

一句话简述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。