摘要：
关于driver 用户提交的应用程序代码在spark中运行起来就是一个driver，用户提交的程序运行起来就是一个driver，他是一个一段特殊的excutor进程，这个进程除了一般excutor都具有的运行环境外，这个进程里面运行着DAGscheduler Tasksheduler Schedul 阅读全文
随笔档案-2021年12月
Spark读写Hive
2021-12-23 16:11 by DataBases, 40 阅读, 收藏, 编辑
摘要：
https://github.com/fansy1990/spark_hive_source_destination https://blog.csdn.net/fansy1990/article/details/53401102?utm_medium=distribute.pc_relevant. 阅读全文
按表某一列数据进行去重后并显示所有列，自然周与自然月的数据
2021-12-21 16:54 by DataBases, 143 阅读, 收藏, 编辑
摘要：
distinct 只能对单列进行去重并，只能显示一列； user_activte_daily_history(server_num string,app_code,static_date date,field string,industry string) 上表按照server_num(手机号进行去 阅读全文
SparkSQL 创建空dataframe
2021-12-10 18:54 by DataBases, 231 阅读, 收藏, 编辑
摘要：
import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.{SparkSession}import org.apache.spark.storage.StorageLevelimport org.apache.spark.s 阅读全文
