2020年7月6日
Spark-submit常用任务命令参数和说明
摘要： Spark常用任务命令参数和说明 spark-submit \ --name task2018072711591669 \ --master yarn --deploy-mode client \ --jars sparklistener-0.0.3-SNAPSHOT.jar \ --conf sp 阅读全文
posted @ 2020-07-06 17:26 MyStitch 阅读(1220) 评论(0) 推荐(0) 编辑
Spark TempView和GlobalTempView的区别
摘要： Spark TempView和GlobalTempView的区别 TempView和GlobalTempView在spark的Dataframe中经常使用，两者的区别和应用场景有什么不同。 我们以下面的例子比较下两者的不同。 from pyspark.sql import SparkSession 阅读全文
posted @ 2020-07-06 16:50 MyStitch 阅读(1726) 评论(0) 推荐(1) 编辑
Spark 两种方法计算分组取Top N
摘要： Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 阅读全文
posted @ 2020-07-06 15:35 MyStitch 阅读(3779) 评论(0) 推荐(0) 编辑