2023年4月22日
Spark提交任务时不再上传$SPARK_HOME$/jars/下的jar包配置
摘要： 背景 你是否在通过spark-submit提交任务时，看见如下这样的字样呢？ 每次我们在提交任务时都会要上传 SPARK_HOME$/jars/ 下的 jar 包，尽管这些jar包我们一般不会修改，它也会上传，这无疑会极大地增加我们spark任务的上传等待时间，从而增加spark的作业时间。那我们可 阅读全文
posted @ 2023-04-22 22:55 LoremMoon 阅读(72) 评论(0) 推荐(0) 编辑