深入Hadoop
摘要：
## 1、HDFS原理  ### 1）三大组件 NameNode、DataNode、Secondar 阅读全文
posted @ 2019-10-12 17:03 筱超超 阅读(199) 评论(0) 推荐(0) 编辑
2019年10月12日 #
初识Hadoop(2)
摘要：
Hadoop概述 yarn： ResourceManager： 处理客户端请求 启动/监控ApplicationMaster 监控NodeManager 资源分配调度 ApplicationMaster： 程序切分 为应用程序申请资源 并分配任务 任务监控与容错 NodeManager： 单个节点上 阅读全文
posted @ 2019-10-12 17:00 筱超超 阅读(85) 评论(0) 推荐(0) 编辑
初识Hadoop
摘要：
1.Hadoop的前世今生 1）搜索引擎：网络爬虫+索引服务器（生成索引+检索） 2）Doung Cutting写了lucence包(生成索引+检索) 3）Nutch:网络爬虫+索引服务器（lucence封装） a.分布式存储？？ b.分布式计算？？？ 4）2002年谷歌开源 阅读全文
posted @ 2019-10-12 16:52 筱超超 阅读(109) 评论(0) 推荐(0) 编辑
初识Hadoop(1)
摘要：
1.Hadoop前世今生 1）搜索引擎：网络爬虫+索引服务器（生成索引+检索） 2）Doung Cutting写了lucene包（生成索引+检索） 3）Nutch：网络爬虫+索引服务器（lucene封装） 4）2002年开源GFS论文，Doung Cutting写了HDFS模块 5）2004年谷歌开 阅读全文
posted @ 2019-10-12 16:27 筱超超 阅读(117) 评论(0) 推荐(0) 编辑