随笔分类 -  Spark

spark相关研究
Spark源码解读1-算子操作
摘要：第一部分：Transformation算子操作，延迟操作，返回新的RDD Map算子 FlatMap算子 Filter算子 Distinct算子（有参数） Distinct算子（无参数） Coalesce算子 Repartition算子 Sample算子 RandomSplit算子 RandomSa 阅读全文
posted @ 2017-08-17 17:30 AlgorithmInit 阅读(424) 评论(0) 推荐(0) 编辑
Idea1.5使用Maven搭建Apache Spark1.6源码阅读环境
摘要：1、插件安装，在Idea界面依次：File-》settings-》plugins，安装Maven 2、下载Spark1.6.2源码，这个在GitHub上下载，具体流程自己百度，很简单 3、在Idea右侧会有Maven Projects标签，点击+，选择下载好的源码，找到pom.xml,打开即是将源码 阅读全文
posted @ 2016-09-02 12:42 AlgorithmInit 阅读(222) 评论(0) 推荐(0) 编辑