2021年1月13日
spark 数据流输出
摘要： 1、save to hdfs json file spark.sparkContext.setLogLevel("error")val data=spark.read.json("hdfs://cslcdip/home/dip/lzm/sparkdata/people.json")data.writ 阅读全文
posted @ 2021-01-13 19:39 bioamin 阅读(265) 评论(0) 推荐(0) 编辑
spark sql 本地idea 取集群hive数据 写入到本地
摘要： package com.cslc import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.Path import scala.collection.JavaConversions._ import org.apa 阅读全文
posted @ 2021-01-13 17:05 bioamin 阅读(342) 评论(0) 推荐(0) 编辑