manzi

导航

2019年5月9日 #

MapReduce运行原理和过程

摘要: 一.Map的原理和运行流程 Map的输入数据源是多种多样的,我们使用hdfs作为数据源。文件在hdfs上是以block(块,Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片,即Split(分片,逻辑划分,不包含具体数据,只包含这些数据的位置信息),那么上图中 阅读全文

posted @ 2019-05-09 08:59 manzi 阅读(269) 评论(0) 推荐(0) 编辑

MapReduce的基本工作原理

摘要: 三个层面上的基本构思 1.如果对付大数据处理:分而治之 对相互之间不具有计算依赖关系的大数据,实现并行最自然的办法就是采取分而治之的策略。 2.上升到抽象模型:Mapper与Reduce MPI等并行计算方法缺少高层并行编程模型,程序员需要自行指定存储,计算,分发等任务,为了克服这一缺陷,MapRe 阅读全文

posted @ 2019-05-09 08:57 manzi 阅读(236) 评论(0) 推荐(0) 编辑

Java开发:面试大纲总结

摘要: 前言: 一年之计在于春 金三银四已过,2018也已经年过一半多,作为一个开发人员,你是否面上了自己理想的公司,薪资达到心中理想的高度? 面试:如果不准备充分的面试,完全是浪费时间,更是对自己的不负责。 今天给大家分享下我整理的Java面试大纲,其中大部分都是自己面试过程中的面试题,可以对照这查漏补缺 阅读全文

posted @ 2019-05-09 08:13 manzi 阅读(214) 评论(0) 推荐(0) 编辑