Hadoop之父Doug Cutting：Lucene到Hadoop的开源之路

Hadoop之父Doug Cutting：Lucene到Hadoop的开源之路

Doug Cutting，凭借自己对工作的热情和脚踏实地的态度，开创了Lucene和Nutch两个成功的开源搜索引擎项目，同时也是当下人气大数据计算框架 Hadoop的创立者。Doug于1985年毕业于美国斯坦福大学，首个在Xerox的实习工作奠定了他日后研究搜索引擎项目以及成功的基础。1997年 底，Doug通过Lucene这个首个提供了全文文本搜索的开源函数库实现了理论到实践的巨大突破。在此基础上，Doug相继实现了Nutch 、Hadoop。为了自身梦想的实现，Doug先后就职于Architext和Yahoo!等企业，直至2009年出任Cloudera的首席架构师。

Lucene&Nutch

Lucene是第一个提供全文文本搜索的函数库，提供了一个简单而强大的应用程序接 口，是一个高性能、可伸缩的信息搜索库。作为一个成熟免费的开源项目，Lucene在Java信息检索程序库中得到了广泛的欢迎。开发者不仅能利用它构建 具体的全文检索应用，同时还能将其集成到各种系统软件中，它提供的很多API函数都能运用到各种实际应用程序中。

Nutch则是Doug在Lucene基础上将开源思想继续深化的成果，是一个真正的应用程序，它是建立在Lucene核心之上的Web搜索的实现，其目的旨在减少人们使用过程中的复杂度，并在花费很少的情况下配置世界一流的Web搜索引擎，实现开箱即用的特性。 站内索引和搜索推广到全球网络的搜索上，就像Google和雅虎一样。

Hadoop

 

Hadoop是Doug基于谷歌MapReduce system开发的一个开源版本，是一种开源的适合大数据的分布式存储和处理平台，是当下新时代应用程序开发必备技能之一。Hadoop作为一个能够让用户轻松架构和使用的分布式平台，具有以下几个优点：

• 高可靠性
• 高扩展性
• 高效性
• 高容错性
• 低成本

Hadoop从最初应用的那一刻起就表现的异常出众，大大提高了网页搜索的速度。Doug的目标是将Hadoop发展成云计算领域的RedHat。纵观当下该计算框架所受到的关注度，Hadoop的成功已完全超脱了Doug的想象。

Doug可以说是云计算和大数据领域的传奇人物，他将高深莫测的搜索技术神奇般的变成了产品。然而，他的成功秘诀却并不神秘——对工作的热情和工作时的认真踏实。然而，正是这众所周知的品质成就了他的成功，也让几乎所有的人都直接或间接的使用过他作品。

 

转自：http://cda.pinggu.org/view/1679.html