wqy1027

eeee

 

2022年10月28日

idea构建spark streaming环境

摘要： package com.streaming import org.apache.spark.sql.SparkSession import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Du 阅读全文

posted @ 2022-10-28 21:34 不想写代码的小玉 阅读(28) 评论(0) 推荐(0) 编辑

Spark中RDD对DF的转换

摘要： SparkRDDToDF package com.sql import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Row, SparkSession} object Demo06RDDtoDF { def mai 阅读全文

posted @ 2022-10-28 19:54 不想写代码的小玉 阅读(170) 评论(0) 推荐(0) 编辑

Spark整合hive

摘要： Spark-SQL 写代码方式 1、在IDEA中将代码编写好打包上传到集群中运行（上线使用） 使用spark-submit提交 2、spark-shell (repl) 里面使用sqlContext 测试使用，简单任务使用 spark-shell --master yarn-client 不能使用y 阅读全文

posted @ 2022-10-28 19:03 不想写代码的小玉 阅读(143) 评论(0) 推荐(0) 编辑

导航