04 2017 档案

Spark源码分析之分区器的作用
摘要：最近因为手抖，在Spark中给自己挖了一个数据倾斜的坑。为了解决这个问题，顺便研究了下Spark分区器的原理，趁着周末加班总结一下~ 先说说数据倾斜 数据倾斜是指Spark中的RDD在计算的时候，每个RDD内部的分区包含的数据不平均。比如一共有5个分区，其中一个占有了90%的数据，这就导致本来5个分 阅读全文
posted @ 2017-04-16 14:01 xingoo 阅读(4827) 评论(0) 推荐(2) 编辑
Spark Stage切分 源码剖析——DAGScheduler
摘要：Spark中的任务管理是很重要的内容，可以说想要理解Spark的计算流程，就必须对它的任务的切分有一定的了解。不然你就看不懂Spark UI,看不懂Spark UI就无法去做优化...因此本篇就从源码的角度说说其中的一部分，Stage的切分——DAG图的创建 先说说概念 在Spark中有几个维度的概 阅读全文
posted @ 2017-04-06 18:54 xingoo 阅读(2876) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示