摘要：
适用场景 进行join中至少有一个RDD的数据量比较少（比如几百M，或者1-2G) 因为，每个Executor的内存中，都会驻留一份广播变量的全量数据 Broadcast与map进行join代码示例 创建RDD 传统的join 使用Broadcast+map的join操作 阅读全文
摘要：
在spark中要进行join操作，如果在shuffle的时候进行join效率较低。如果满足 所需要join的表中有一张表较小，那么可以考虑在map端进行join操作。 转载：http://blog.csdn.net/lsshlsw/article/details/50834858 将多份数据进行关联 阅读全文
摘要：
一. 数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 二. 数据倾斜的原因 常见于各种shuffle操作，例如reduceByKey,groupByKey,join等操作。 数据问题 spark使用问题 三. 数据倾斜的后果 一个理 阅读全文