摘要: \s表示 空格,回车,换行等空白符, +号表示一个或多个的意思,所以... split(" +") 按空格进行拆分(也就是说只有按空格键流出来的空白才会是拆分的一句) 阅读全文
posted @ 2021-07-11 16:19 deepJL 阅读(179) 评论(0) 推荐(0) 编辑
摘要: reduce(binary_function) reduce将RDD中元素前两个传给输入函数,产生一个新的return值,新产生的return值与RDD中下一个元素(第三个元素)组成两个元素,再被传给输入函数,直到最后只有一个值为止。 val c = sc.parallelize(1 to 10) 阅读全文
posted @ 2021-07-11 09:48 deepJL 阅读(108) 评论(0) 推荐(0) 编辑
摘要: #map与flatMap区别 map: object keysTest{ def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("keysTest").setMaster("l 阅读全文
posted @ 2021-07-11 09:41 deepJL 阅读(125) 评论(0) 推荐(0) 编辑