摘要: 1.如果是格式化成Json的話直接 val rdd = df.toJSON.rdd 2.如果要指定格式需要自定义函数如下: //格式化具体字段条目 def formatItem(p:(StructField,Any)):String={ p match { case (sf,a) => sf.dat 阅读全文
posted @ 2016-12-14 16:59 ciade 阅读(1576) 评论(0) 推荐(0) 编辑
摘要: 1.RDD -> Dataset val ds = rdd.toDS() 2.RDD -> DataFrame val df = spark.read.json(rdd) 3.Dataset -> RDD val rdd = ds.rdd 4.Dataset -> DataFrame val df 阅读全文
posted @ 2016-12-14 15:12 ciade 阅读(7442) 评论(0) 推荐(0) 编辑