摘要: 一、通用的load和save操作 对于Spark SQL的DataFrame来说,无论是从什么数据源创建出来的DataFrame,都有一些共同的load和save操作。load操作主要用于加载数据,创建出DataFrame;save操作,主要用于将DataFrame中的数据保存到文件中。 Java版 阅读全文
posted @ 2018-08-23 19:49 南边雪 阅读(2179) 评论(0) 推荐(0) 编辑
摘要: 创建DataFrame使用SQLContext,可以从RDD、Hive表或者其他数据源,来创建一个DataFrame。以下是一个使用JSON文件创建DataFrame的例子: Java版本:JavaSparkContext sc = ...; SQLContext sqlContext = new 阅读全文
posted @ 2018-08-23 10:20 南边雪 阅读(718) 评论(0) 推荐(0) 编辑