05 2020 档案
摘要：1.RDD[K,V]，键值对类型的rdd的函数在PairRDDFunctions这个类中 rdd类中，通过隐士转换让rdd有了PairRDDFunctions这个类里面方法的功能 2.rdd 的join方式 1.join=》rdd[k,v] join rdd[k,w]=》RDD[(K, (V, W)
阅读全文
摘要：distinct的底层使用reducebykey巧妙实现去重逻辑 //使用reduceByKey或者groupbykey的shuffle去重思想rdd.map(key=>(key,null)).reduceByKey((key,value)=>key) .map(_._1)
阅读全文
摘要：从源码看： reduceBykey与groupbykey： 都调用函数combineByKeyWithClassTag[V]((v: V) => v, func, func, partitioner)reduceBykey的map端进行聚合combine操作mapSideCombine = true
阅读全文
摘要：//判断a是否小于b private static boolean less(Comparable v, Comparable w) { return v.compareTo(w) < 0; } //两个交换 private static void swap(Comparable arr[], in
阅读全文
