摘要: MapReduce 简介 概念 面向批处理的分布式计算框架 一种编程模型: MapReduce程序被分为Map(映射)和Reduce(化简)阶段 核心思想 分而治之, 并行计算 移动计算而非移动数据 特点 MapReduce有几个特点: 移动计算而不移动数据:分布式计算,计算跟着数据走,数据存放在哪 阅读全文
posted @ 2020-02-25 21:50 20145232 阅读(1922) 评论(0) 推荐(1) 编辑
摘要: HDFS简介 HDFS的运用非常广泛,基本上很多大数据平台大部分都会选用HDFS(或者类似HDFS)这样的分布式文件系统、来作为海量数据存储的一个解决方案。 优缺点 优势 1. 高容错性,HDFS提供了非常好的“副本冗余机制”,简单来说就是一份数据在HDFS当中存放,包含它自身在内至少会有(默认) 阅读全文
posted @ 2020-02-25 19:20 20145232 阅读(962) 评论(0) 推荐(1) 编辑