2022年5月22日
记一次SparkUI的使用记录
摘要： 内存不足问题 spark 默认分配的内存是4G，通过这个命令分配更大的内存空间给我们的任务 spark-shell --driver-memory 12g import org.apache.spark.sql.DataFrame val hdfs_path_apply: String = s"/m 阅读全文
posted @ 2022-05-22 22:13 yihailin 阅读(65) 评论(0) 推荐(0) 编辑