2016 年 1月 24 日随笔档案 - HaiziS

2016年1月24日

摘要：今晚听了王家林老师的Spark IMF传奇行动第19课：spark排序，作业是：1、scala 实现二次排序，使用object apply 2；自己阅读RangePartitioner代码如下:/** * Created by 王家林 on 2016/1/10. */object Secondary... 阅读全文

posted @ 2016-01-24 22:59 HaiziS 阅读(434) 评论(0) 推荐(0) 编辑

Spark IMF传奇行动第18课：RDD持久化、广播、累加器总结

摘要：昨晚听了王家林老师的Spark IMF传奇行动第18课：RDD持久化、广播、累加器，作业是unpersist试验，阅读累加器源码看内部工作机制：scala> val rdd = sc.parallelize(1 to 1000)rdd: org.apache.spark.rdd.RDD[Int] =... 阅读全文

posted @ 2016-01-24 11:49 HaiziS 阅读(271) 评论(0) 推荐(0) 编辑