摘要: //清理格式不匹配的数据 //此代码可以实现自动滤除掉无法转化为double类型的数据 import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.j 阅读全文
posted @ 2020-04-26 20:09 雪瞳 阅读(1119) 评论(0) 推荐(0) 编辑
摘要: // hadoop+spark二次排序代码 package com.swust.hadoop; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spa 阅读全文
posted @ 2020-04-26 16:15 雪瞳 阅读(108) 评论(0) 推荐(0) 编辑