2020年8月31日
.sparkstaging设置
摘要： 对于/user/root/.sparkStaging下文件，是spark任务依赖文件，可以将jar包上传到指定目录下，避免或减少了jar包的重复上传，进而减少任务的等待时间。 可以在spark的配置文件spark-defaults.conf配置如下内容： spark.yarn.archive=hdf 阅读全文
posted @ 2020-08-31 11:54 muyue123 阅读(2108) 评论(0) 推荐(0) 编辑
查看日志
摘要： yarn logs -applicationId application_1598508303322_0300 阅读全文
posted @ 2020-08-31 11:30 muyue123 阅读(89) 评论(0) 推荐(0) 编辑