文章分类 -  Hadoop 笔记

摘要:MapReduce如何工作 (图:*Jomini是我的水印) 1、Hadoop进行Mapreduce的的五个部分,以下是五个部分: (1) 客户端:提交MapReduce工作; (2) YARN 资源管理器:协调集群上的计算机资源的分配; (3) YARN node 管理器:发动和监视集群里的计算机 阅读全文
posted @ 2017-12-01 17:01 抽象Java 阅读(124) 评论(0) 推荐(0)
摘要:本人学业不精,通过看教程总结的hadoop 笔记帮各位dalao(大牛出门左拐)了解hadoop 不同方面的知识,以下内容若有错误,请dalao们指出。 Hadoop 是什么: 一句话就是 Hadoop 是个用来完成 MapReduce 模型的框架。我相信大家已经明白了。 Hadoop架构: Had 阅读全文
posted @ 2017-12-01 09:13 抽象Java 阅读(112) 评论(0) 推荐(0)
摘要:1、分布式管理系统(Distributed Filesystem): 当数据集超过了单一的物理计算机的可存储容量,这就需要存储在不同的计算机上。这种管理跨网络计算机存储的文件系统叫分布式文件系统。 2、HDFS(Hadoop Distributed Filesystem) : Hadoop的分布式文 阅读全文
posted @ 2017-12-01 09:12 抽象Java 阅读(898) 评论(0) 推荐(0)