摘要：
优化1：Combiner 使用之前 使用之后 减少的了reduce 从map拉取数据的过程，提高计算效率。 hadoop 的计算特点：将计算任务向数据靠拢，而不是将数据向计算靠拢。 特点：数据本地化，减少网络io。 首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本 阅读全文
posted @ 2023-12-04 20:48
SIKeborn
阅读(91)
评论(0)
推荐(0)
摘要：
一、MapReduce设计理念 map >映射 reduce >归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线：实时数据处理 离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果 mapreduce不会马上得到结果，他会有一定的延时（磁盘IO） 如果数据量小， 阅读全文
posted @ 2023-12-04 20:43
SIKeborn
阅读(37)
评论(0)
推荐(0)
浙公网安备 33010602011771号