摘要:
一、Hadoop简介 Hadoop最早起源于Nutch。Nutch是一个开源的网络搜索引擎,由Doug Cutting于2002年创建。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引,查询等功能,随着网页抓取数量的增加,遇到严重的可扩展问题,即不能解决数十亿网页的存储和索引的问题,之后,Google发布的两篇论文(The Google File System和MapReduce: Simplified Data Processing on Large Clusters)为该问题提供了可行的解决方案。 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以 阅读全文