2019年9月16日
Spark 2.x 在作业完成时却花费很长时间结束
摘要： 使用 Apache Spark 2.x 的时候可能会遇到这种现象：虽然 Spark Jobs 已经全部完成了，但是程序却还在执行。比如我们使用 Spark SQL 去执行一些 SQL，这个 SQL 在最后生成了大量的文件。然后我们可以看到，这个 SQL 所有的 Spark Jobs 其实已经运行完成 阅读全文
posted @ 2019-09-16 21:01 sw_kong 阅读(695) 评论(0) 推荐(0) 编辑