01 2022 档案
摘要：rdd依赖关系 （1）RDD 血缘关系 val fileRDD: RDD[String] = sc.textFile("input/1.txt") println(fileRDD.toDebugString) println(" ") val wordRDD: RDD[String] = fileR
阅读全文
摘要：今天学习spark的一些行动算子和序列化 （1）行动算子 def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator") val
阅读全文
摘要：spark中wordcount的实现 （1）//aggregateByKeydef wordcount3(sc:SparkContext)={ val fileRDD: RDD[String] = sc.textFile("D:\\qq text\\1791028291\\FileRecv\\《飘》
阅读全文
摘要：行动算子 （1） def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator") val sc = new SparkContex
阅读全文
摘要：今天完成学习了一个案例的实践和一些spark算子的学习 （1）join def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator
阅读全文
摘要：今天继续学习spark双value算子 （1） def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15") val sc
阅读全文
摘要：今天学习完单value的算子和双value算子的开始 （1）distinct def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Opera
阅读全文
