摘要: hadoop(二MapReduce) 介绍 MapReduce:其实就是把数据分开处理后再将数据合在一起. Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。Reduce负责“合”,即对map阶段的结果进行全局汇 阅读全文
posted @ 2019-08-12 00:07 不穿格子衫的徍爺 阅读(236) 评论(0) 推荐(0) 编辑
摘要: hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS :分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn:分布式样集群资源管理 但是hadoop可不止这三个系统 广义上来说: hadoop指的是大数据的一个 阅读全文
posted @ 2019-08-12 00:05 不穿格子衫的徍爺 阅读(213) 评论(0) 推荐(0) 编辑