摘要：https://www.cnblogs.com/csmountains/p/13643263.html https://spark.apache.org/docs/latest/monitoring.html https://www.jianshu.com/p/506654cce9dc https: 阅读全文
Spark(SparkStreaming):Dynamic Resource Allocation
2022-05-12 15:58 by DataBases, 阅读(35) 阅读, 推荐(0) 推荐, 收藏, 编辑
摘要：Spark(SparkStreaming):Dynamic Resource Allocation 阅读全文
Kubernetes学习
2022-02-25 16:03 by DataBases, 阅读(55) 阅读, 推荐(0) 推荐, 收藏, 编辑
摘要：https://kuboard.cn/learning https://www.yuque.com/leifengyang/oncloud https://space.bilibili.com/1893619254 进阶之路hk的个人空间_哔哩哔哩_bilibili 2022年最新阿里内部 dock 阅读全文
Spark Driver
2021-12-23 19:08 by DataBases, 阅读(234) 阅读, 推荐(0) 推荐, 收藏, 编辑
摘要：关于driver 用户提交的应用程序代码在spark中运行起来就是一个driver，用户提交的程序运行起来就是一个driver，他是一个一段特殊的excutor进程，这个进程除了一般excutor都具有的运行环境外，这个进程里面运行着DAGscheduler Tasksheduler Schedul 阅读全文
Spark读写Hive
2021-12-23 16:11 by DataBases, 阅读(40) 阅读, 推荐(0) 推荐, 收藏, 编辑
摘要：https://github.com/fansy1990/spark_hive_source_destination https://blog.csdn.net/fansy1990/article/details/53401102?utm_medium=distribute.pc_relevant. 阅读全文
按表某一列数据进行去重后并显示所有列，自然周与自然月的数据
2021-12-21 16:54 by DataBases, 阅读(143) 阅读, 推荐(0) 推荐, 收藏, 编辑
摘要：distinct 只能对单列进行去重并，只能显示一列； user_activte_daily_history(server_num string,app_code,static_date date,field string,industry string) 上表按照server_num(手机号进行去 阅读全文
SparkSQL 创建空dataframe
2021-12-10 18:54 by DataBases, 阅读(231) 阅读, 推荐(0) 推荐, 收藏, 编辑
摘要：import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.{SparkSession}import org.apache.spark.storage.StorageLevelimport org.apache.spark.s 阅读全文
Spark调优
2021-11-23 13:54 by DataBases, 阅读(193) 阅读, 推荐(0) 推荐, 收藏, 编辑
摘要：RDDRDD的全称是 Resilient Distributed Datasets，这是Spark的一种数据抽象集合，它可以被执行在分布式的集群上进行各种操作，而且有较强的容错机制。RDD可以被分为若干个分区，每一个分区就是一个数据集片段，从而可以支持分布式计算。 RDD运行时的角色及相关名词有 C 阅读全文
spark streaming 的两种实现方式
2021-11-19 17:43 by DataBases, 阅读(41) 阅读, 推荐(0) 推荐, 收藏, 编辑
摘要：/usr/local/spark-2.4.3-bin-hadoop2.7/examples/src/main/python/streaming spark-submit --master yarn --queue comm network_wordcount.py 172.24.4.71 9999 阅读全文
YARN HA Failover 导致 RM状态异常问题
2021-11-17 11:41 by DataBases, 阅读(1739) 阅读, 推荐(0) 推荐, 收藏, 编辑
摘要：2021-11-15 18:52:15,361 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting2021-11-15 18:52:15,372 INFO org.apache.hadoop.ipc.Server: IP 阅读全文
