2018年11月28日
SparkSQL查询程序的两种方法，及其对比
摘要： import包： import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}import org.apache.spark.sql... 阅读全文
posted @ 2018-11-28 17:01 dummyly 阅读(1912) 评论(0) 推荐(0) 编辑
spark的flatMap和map区别
摘要： map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。 flatmap()是将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD,这样就得到了一个由各列表中的元素组成的RDD,而不是一个列表组成的RDD。 新建person.txt: 1 lisi 182 liwu 20 阅读全文
posted @ 2018-11-28 15:56 dummyly 阅读(488) 评论(0) 推荐(0) 编辑