MapReduce模型中数据关联使用or语句导致计算效率低下
摘要：
简介 MapReduce计算模型中，如果两个数据集的关联，并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联，那么会导致大量数据分发到一个节点计算，使其效率极其低下。 这里的MapReduce并不是仅仅是hive中的mapreduce模型，而是计算思想模型，比如spark、flink等，甚至 阅读全文
posted @ 2020-06-29 23:50 SaltFishYe 阅读(301) 评论(1) 推荐(0) 编辑
