摘要： 一、广播变量（调优操作） 使用广播变量是个调优操作，不使用广播变量可能会造成Executor端内存溢出。 1.普通变量定义 val rdd1: RDD[String] = sc.parallelize(Array[String]("Java", "C", "Python", "Hadoop", "S 阅读全文

摘要： 背景：使用脚本管理Spark任务，正处于RUNNING状态的任务跳过，不提交 一、涉及到的知识点： 脚本不重要，重要的是知识点 1.查询yarn处于RUNNING状态的任务列表 yarn application -list -appStates RUNNING 2.在Python中使用Linux命令 阅读全文