随笔分类 - 大数据
摘要:Hadoop MapReduce与Hadoop YARN Hadoop MapReduce 理解MapReduce思想 MapReduce的思想核心是“先分再合,分而治之”。 所谓“分而治之”就是把一个复杂的问题,按照一定的“分解”方法分为等价的规模较小的若干部分,然后逐个解决,分别找出各部分的结果
阅读全文
摘要:Hadoop初识 Hadoop核心组件 Hadoop HDFS(分布式文件存储系统):解决海量数据存储 Hadoop YARN(集群资源管理和任务调度框架):解决资源任务调度 Hadoop MapReduce(分布式计算框架):解决海量数据计算 Hadoop集群整体概述 Hadoop集群包括两个集群
阅读全文