03 2021 档案

MapReduce之数据分片思想
摘要：尽管MR由于计算效率问题，已经不适用于大多数业务场景，Hive3开始计算引擎改为TEZ，但MR的经典思路在Hadoop生态各组件都有体现，重温后对各组件原理的理解还有使用都有帮助，如Spark的RDD分区里面的源码就能看到MR分片思想的影子。这里仅拿输入Map前分片（Split）这个动作的源码做窥探 阅读全文
posted @ 2021-03-16 20:02 Rango_lhl 阅读(322) 评论(0) 推荐(0) 编辑