2018年12月8日
Spark任务执行期间写临时文件报错导致失败
摘要： spark任务在执行期间，有时候会遇到临时目录创建失败，导致任务执行错误。 spark执行过程的文件夹 1. spark创建临时文件机制 spark作为并行计算框架，同一个作业会被划分为多个任务在多个节点执行，reduce的输入可能存在于多个节点，因此需要shuffle将所有reduce的输入汇总起 阅读全文
posted @ 2018-12-08 12:53 Hopkins'Cybernetics 阅读(1905) 评论(0) 推荐(0) 编辑